[AWS] Amazon SageMaker Feature Store & Canvas

Amazon SageMaker Feature Store

Feature Store는 말 그대로 '특징' 스토어다. 모델의 특징을 생성, 저장, 검색 및 공유하는 과정을 간소화하고 중앙 집중화하는 서비스로, ML 모델을 개발하고 운영하는 과정에서 발생하는 데이터 비일관성 문제를 해결하고, 특징 재사용성을 높여 MLOps 효율성을 크게 향상시킨다.

 

이 Feature Store는 모델 학습과 추론에 최적화된 스토리지 옵션을 제공하는데, 이는 다음의 3가지로 설명할 수 있다.

 

① 온라인 스토어: 실시간 추론(Real-time Inference)을 지원한다. 즉, Low Latency의 특성을 갖으며, 각 레코드의 최신 특징 값만 보관한다. 최신 값만 보관해야 Low Latency를 유지할 수 있으니 말이다. 사용자의 직전 5분간의 활동 기록이 필요할 때, 수십억 개의 과거 특징 기록을 모두 검색하는 것은 엄청난 지연 시간을 초래할 수밖에 없다. 

② 오프라인 스토어: 모델 학습 및 배치 추론을 지원한다. Time-Travel Query를 사용하여 특정 시점의 과거 특징 데이터셋을 재현하는 것을 가능하게 하는데, 이렇게 빌드를 재현할 수 있다는 것은 감사에 쓰일 수 있다는 뜻이 되기도 한다. 오프라인이기에 굳이 latency를 따질 필요가 없으며, 특징에 대한 모든 레코드를 S3 같은 데이터베이스에 저장한다.

③ Feature Group 관리: 유사하거나 동일한 종류의 특징들을 하나의 논리적 단위로 묶어 관리한다. 이것만 보면 어디서 본 것 같은데, 맞다. Rational Database 테이블과 매우 유사하다. 이것을 통해 특징, 스키마 같은 것들이 온라인/오프라인 스토어에 어떻게 저장될지 설정할 수 있다.

 

결론적으로, Feature Store는 머신러닝 모델의 학습과 추론에 필요한 특징(Feature)들을 중앙에서 관리하며 재사용성과 일관성을 보장하는 전용 데이터 저장소라 할 수 있다.

 

Amazon Sagemaker Canvas

Canvas의 핵심은 ML의 기술적 복잡성을 숨기고, 사용자 친화적인 환경을 제공하여 비즈니스 사용자가 데이터에서 직접 가치를 추출할 수 있게 하는 것이다.

 

그리고 사용자 친화적이라는 말은 NO CODE 또는 LOW CODE ML 이라는 것에서 비롯되는 것이다. 데이터 준비, 모델 학습, 결과 분석 등 ML 프로세스 전체를 마우스 클릭, 드래그 같은 행위로만 진행한다. 파이썬? 깊은 ML에 대한 지식? 필요 없다. 

 

또한, 자동화된 ML 기능도 제공하는데, 사용자가 데이터를 업로드하고 예측하려는 대상 열을 지정하면, Canvas가 자동으로 데이터 정제, 특징 공학, 다양한 알고리즘 테스트, 모델 하이퍼파라미터 튜닝을 수행하여 최적의 모델을 찾아준다. 분류, 회귀, 시계열 예측 등 많은 곳에 이용된다.

 

그리고 '설명 가능성'을 제공하기도 하는데, 이 모델이 왜 이런 결정을 내렸는지, 그 이유를 시각적으로 제공한다. 어떤 데이터 특징이 모델 예측에 가장 큰 영향을 미쳤는지 쉽게 확인할 수 있어 변수를 통제하기 수월하다. 

 

그렇기에 Canvas는 초짜들이 사용하기에, 신속하게 비즈니스 통찰력을 얻어야 할 때 유용하다 할 수 있다. 시장 예측, 고객 이탈 예측, 대출 승인 결정, 데이터 탐색 및 검증 등의 상황에서 캔버스는 좋은 선택이 될 것이다.