수달정보보호

AWS Technical Essentials #2

컨테이너AWS는 광범위한 컴퓨팅 제품을 통해 작업에 적합한 도구를 선택할 수 있는 유연성을 제공한다. 컴퓨팅의 3가지 주요 범주는 가상 머신(VM), 컨테이너, 서버리스인데, 모든 목적에 부합하는 컴퓨팅 서비스란 존재하지 않는다. 그렇기에 우리는 우리의 요구 사항에 맞춰 적합한 서비스를 선택해야 한다.그러기 위한 핵심은 각 옵션이 무엇을 제공하는지 이해하는 것일 테다. 그러면 사용 사례에 적합한 클라우드 아키텍처를 구축할 수 있는 것이다. 컨테이너는 웹 애플리케이션, 리프트 앤 시프트 마이그레이션, 분산 애플리케이션, 개발, 테스트 및 프로덕션 환경의 간소화 등 다양한 워크로드를 호스팅할 수 있다다. 컨테이너는 한 컴퓨팅 환경에서 다른 컴퓨팅 환경으로 이동할 때 안정적으로 실행되도록 하는 문제를 비롯하여..

AWS Technical Essentials #1

보안 및 공동 책임 모델 AWS 클라우드로 작업할 때 보안 및 규정 준수를 관리하는 것은 AWS와 고객의 공동 책임이다. 책임의 차이를 따질 때, 일반적으로 클라우드 자체의 보안과 클라우드 내부의 보안으로 분류한다. AWS는 클라우드 자체의 보안을 담당한다. 즉, AWS는 AWS 클라우드에서 제공되는 서비스를 실행하는 인프라를 보호하고 보안을 유지하는 것이다. AWS의 책임은 다음과 같다. ① AWS 리전, 가용 영역, 데이터 센터 보호, 건물의 물리적 보안 ② AWS 서비스를 실행하는 하드웨어, 소프트웨어, 네트워킹 구성 요소 관리. 예: 물리적 서버, 호스트 운영 체제, 가상화 계층, AWS 네트워킹 구성 요소 여기서 주의해야 할 점은, AWS의 책임 수준은 서비스에 따라 달라진다는 것이다. AWS는..

개인정보보호법 시행령 제32조(개인정보 보호책임자의 업무 및 지정요건 등) ④ 다음 각 호의 어느 하나에 해당하는 개인정보처리자(공공기관의 경우에는 제2조제2호부터 제5호까지에 해당하는 경우로 한정한다)는 제3항 각 호의 구분에 따른 사람 중 별표 1에서 정하는 요건을 갖춘 사람을 개인정보 보호책임자로 지정해야 한다. 1. 연간 매출액등이 1,500억원 이상인 자로서 다음 각 목의 어느 하나에 해당하는 자(제2조제5호에 따른 각급 학교 및 「의료법」 제3조에 따른 의료기관은 제외한다) 가. 5만명 이상의 정보주체에 관하여 민감정보 또는 고유식별정보를 처리하는 자 나. 100만명 이상의 정보주체에 관하여 개인정보를 처리하는 자 질의 요지: 2024년 3월 12일 대통령령 제34309호로 일부개정된 「개인정..

PartyRock베드락은 쓰다보면 너무 길어질 것 같아 바로 세부적인 영역으로 들어가고자 한다. PartyRock은 AWS가 출시한 생성형 AI 앱 구축 및 실험을 위한 웹 기반 플레이그라운드 서비스로, 코딩 지식이 없는 사용자도 AWS의 기반 모델을 활용하여 독특한 AI 애플리케이션을 쉽게 만들고 공유할 수 있도록 설계되었다. 아주 사용자 친화적이라 AI 지식이 요구되지 않는다는 것이다. PartyRock은 앞서 말했듯, Amazon Bedrock 위에서 작동하는데, 애당초 이 서비스 자체가 사용자들이 코드를 작성하지 않고도(No-Code) 드래그 & 드롭 방식으로 텍스트, 이미지, 음악 등을 생성하는 AI 애플리케이션을 빠르게 실험하고 구축하는 것에 목적을 두었다. 이를 통해 사용자는 위젯이라는 빌딩..

BLEU(Bilingual Evaluation Understudy)BLEU는 기계 번역 모델의 성능을 평가하기 위한 것으로, 생성된 번역문이 참조된 번역문과 얼마나 많은 겹치는 단어를 갖고 있는지를 기반으로 계산된다. BLUE의 핵심은 1-gram(단어 하나), 2-gram(단어 둘 묶음).... 등 Precision을 계산하는 것이다. 만일, 생성된 문장의 한 단어가 참조 문장에 너무 많이 등장하는 경우, 해당 단어의 최대 일치 횟수를 참조 문장에서 실제로 등장하는 횟수로 제한하며, 이는 번역문이 한 단어를 무의미하게 반복해서 높은 점수를 받는 것을 방지하기 위함이다. 그렇게 계산된 1-gram부터 4-gram까지의 정밀도 점수들을 단순히 산술 평균하지 않고 기하 평균을 내는데, 그렇게 해야 모든 길의..

Amazon SageMaker Feature StoreFeature Store는 말 그대로 '특징' 스토어다. 모델의 특징을 생성, 저장, 검색 및 공유하는 과정을 간소화하고 중앙 집중화하는 서비스로, ML 모델을 개발하고 운영하는 과정에서 발생하는 데이터 비일관성 문제를 해결하고, 특징 재사용성을 높여 MLOps 효율성을 크게 향상시킨다. 이 Feature Store는 모델 학습과 추론에 최적화된 스토리지 옵션을 제공하는데, 이는 다음의 3가지로 설명할 수 있다. ① 온라인 스토어: 실시간 추론(Real-time Inference)을 지원한다. 즉, Low Latency의 특성을 갖으며, 각 레코드의 최신 특징 값만 보관한다. 최신 값만 보관해야 Low Latency를 유지할 수 있으니 말이다. 사용자..

Amazon SageMaker Model CardAmazon SageMaker 모델 카드를 사용하면 기계 학습(ML) 모델에 대한 중요한 세부 정보를 한 곳에 문서화하여 거버넌스 및 보고를 간소화할 수 있다. 모델 카드는 수명 주기 동안 모델에 대한 주요 정보를 캡처하고, 그렇기에 책임 있는 AI 관행을 구현하는 데 도움이 될 수 있다. 모델의 용도 및 위험 등급, 훈련 세부 정보 및 지표, 평가 결과 및 관찰, 추가 설명(ex. 고려 사항, 권장 사항, 사용자 지정 정보)과 같은 세부 정보를 분류하며, 일반적으로는 다음의 활동을 수행한다. ① 모델 사용 방법에 대한 지침 제공 ② 모델 훈련 및 성과에 대한 자세한 설명과 함께 감사 활동 지원 ③ 비즈니스 목표를 지원하기 위한 모델의 용도 전달 우리가 ..

AUCAUC 평가지표는 로지스틱 회귀 등과 같이 확률값을 출력하는 알고리즘의 이진 분류 성능을 비교·평가할 때 사용된다. 이때 모델이 반환한 확률값을 실제 분류 결과로 변환하기 위해 임계값(threshold)과 비교하여 Positive 또는 Negative로 판정한다. 여기서 사용되는 곡선은 ROC 곡선(Receiver Operating Characteristic curve)이라 하는데, TPR(True Positive Rate)과 FPR(False Positive Rate)의 관계를 나타낸다.임계값을 높이면 False Positive의 수는 줄어들지만, 동시에 False Negative의 수는 증가하게 된다. AUC는 이러한 ROC 곡선 아래의 면적을 의미한다. 따라서 AUC는 가능한 모든 분류 임계값..

Recall(재현율)재현율은 알고리즘이 데이터세트의 모든 True Positive를 얼마나 정확하게 예측하는지 측정한다. True Positive는 양성 예측이며 데이터에서 실제 양수이기도 하다. 이때 재현율은 다음과 같이 정의된다. Recall = TP/ (TP+FN) 물론 값의 범위는 0에서 1까지다. 점수가 높을수록 모델이 데이터의 True Positive를 더 잘 예측할 수 있음을 나타낸다. 이는 마찬가지로 바이너리 분류에 사용된다. 암 검사를 할 때는 재현율이 중요하다. 이는 True Positive를 모두 찾아내는 데 사용되기 때문이다. False Positives는 데이터에서 실제로는 음성인데 양성으로 예측하는 것을 반영한다. 모든 출력값을 TP로 예측하면 완벽한 재현율 점수를 얻을 수 있기..

모델의 성능을 평가하는 데에서 있어 사용할 수 있는 지표는 정말 많다. 이번엔 가장 흔한 지표에 속하는 Accuracy, Precision에 대해 알아보도록 한다. Accuracy(정확도)전체 항목 수 대비 올바르게 분류된 항목 수의 비율을 확인한다. 바이너리 분류와 멀티클래스 분류 모두에 사용되며, 정확도는 예측된 클래스 값이 실제 값에 얼마나 가까운지를 측정하는 것이다. 그렇기에 정확도 지표의 값은 언제나 0에서 1 사이다. 값 1은 완벽한 정확도를 나타내고, 0은 완벽한 부정확도를 나타낸다. 0에서 1의 간단한 결과를 나타낸다는 건 그만큼 빠른 점검에 속한다는 뜻이다. 클래스 분포가 균형잡힌 경우에 특히 사용하기 좋은데, 예를 들면, 수달과 해달의 사진을 분류하는 상황에서 각 사진의 수가 약 50장..