수달정보보호

[AWS] BLEU & ROUGE & BERT Score

BLEU(Bilingual Evaluation Understudy)BLEU는 기계 번역 모델의 성능을 평가하기 위한 것으로, 생성된 번역문이 참조된 번역문과 얼마나 많은 겹치는 단어를 갖고 있는지를 기반으로 계산된다. BLUE의 핵심은 1-gram(단어 하나), 2-gram(단어 둘 묶음).... 등 Precision을 계산하는 것이다. 만일, 생성된 문장의 한 단어가 참조 문장에 너무 많이 등장하는 경우, 해당 단어의 최대 일치 횟수를 참조 문장에서 실제로 등장하는 횟수로 제한하며, 이는 번역문이 한 단어를 무의미하게 반복해서 높은 점수를 받는 것을 방지하기 위함이다. 그렇게 계산된 1-gram부터 4-gram까지의 정밀도 점수들을 단순히 산술 평균하지 않고 기하 평균을 내는데, 그렇게 해야 모든 길의..

[AWS] Amazon SageMaker Feature Store & Canvas

Amazon SageMaker Feature StoreFeature Store는 말 그대로 '특징' 스토어다. 모델의 특징을 생성, 저장, 검색 및 공유하는 과정을 간소화하고 중앙 집중화하는 서비스로, ML 모델을 개발하고 운영하는 과정에서 발생하는 데이터 비일관성 문제를 해결하고, 특징 재사용성을 높여 MLOps 효율성을 크게 향상시킨다. 이 Feature Store는 모델 학습과 추론에 최적화된 스토리지 옵션을 제공하는데, 이는 다음의 3가지로 설명할 수 있다. ① 온라인 스토어: 실시간 추론(Real-time Inference)을 지원한다. 즉, Low Latency의 특성을 갖으며, 각 레코드의 최신 특징 값만 보관한다. 최신 값만 보관해야 Low Latency를 유지할 수 있으니 말이다. 사용자..

[AWS] Amazon SageMaker Model Card & Model Registry

Amazon SageMaker Model CardAmazon SageMaker 모델 카드를 사용하면 기계 학습(ML) 모델에 대한 중요한 세부 정보를 한 곳에 문서화하여 거버넌스 및 보고를 간소화할 수 있다. 모델 카드는 수명 주기 동안 모델에 대한 주요 정보를 캡처하고, 그렇기에 책임 있는 AI 관행을 구현하는 데 도움이 될 수 있다. 모델의 용도 및 위험 등급, 훈련 세부 정보 및 지표, 평가 결과 및 관찰, 추가 설명(ex. 고려 사항, 권장 사항, 사용자 지정 정보)과 같은 세부 정보를 분류하며, 일반적으로는 다음의 활동을 수행한다. ① 모델 사용 방법에 대한 지침 제공 ② 모델 훈련 및 성과에 대한 자세한 설명과 함께 감사 활동 지원 ③ 비즈니스 목표를 지원하기 위한 모델의 용도 전달 우리가 ..

AUCAUC 평가지표는 로지스틱 회귀 등과 같이 확률값을 출력하는 알고리즘의 이진 분류 성능을 비교·평가할 때 사용된다. 이때 모델이 반환한 확률값을 실제 분류 결과로 변환하기 위해 임계값(threshold)과 비교하여 Positive 또는 Negative로 판정한다. 여기서 사용되는 곡선은 ROC 곡선(Receiver Operating Characteristic curve)이라 하는데, TPR(True Positive Rate)과 FPR(False Positive Rate)의 관계를 나타낸다.임계값을 높이면 False Positive의 수는 줄어들지만, 동시에 False Negative의 수는 증가하게 된다. AUC는 이러한 ROC 곡선 아래의 면적을 의미한다. 따라서 AUC는 가능한 모든 분류 임계값..

Recall(재현율)재현율은 알고리즘이 데이터세트의 모든 True Positive를 얼마나 정확하게 예측하는지 측정한다. True Positive는 양성 예측이며 데이터에서 실제 양수이기도 하다. 이때 재현율은 다음과 같이 정의된다. Recall = TP/ (TP+FN) 물론 값의 범위는 0에서 1까지다. 점수가 높을수록 모델이 데이터의 True Positive를 더 잘 예측할 수 있음을 나타낸다. 이는 마찬가지로 바이너리 분류에 사용된다. 암 검사를 할 때는 재현율이 중요하다. 이는 True Positive를 모두 찾아내는 데 사용되기 때문이다. False Positives는 데이터에서 실제로는 음성인데 양성으로 예측하는 것을 반영한다. 모든 출력값을 TP로 예측하면 완벽한 재현율 점수를 얻을 수 있기..

모델의 성능을 평가하는 데에서 있어 사용할 수 있는 지표는 정말 많다. 이번엔 가장 흔한 지표에 속하는 Accuracy, Precision에 대해 알아보도록 한다. Accuracy(정확도)전체 항목 수 대비 올바르게 분류된 항목 수의 비율을 확인한다. 바이너리 분류와 멀티클래스 분류 모두에 사용되며, 정확도는 예측된 클래스 값이 실제 값에 얼마나 가까운지를 측정하는 것이다. 그렇기에 정확도 지표의 값은 언제나 0에서 1 사이다. 값 1은 완벽한 정확도를 나타내고, 0은 완벽한 부정확도를 나타낸다. 0에서 1의 간단한 결과를 나타낸다는 건 그만큼 빠른 점검에 속한다는 뜻이다. 클래스 분포가 균형잡힌 경우에 특히 사용하기 좋은데, 예를 들면, 수달과 해달의 사진을 분류하는 상황에서 각 사진의 수가 약 50장..

오늘 공고를 하나 작성하던 중, 흥미로운 문항을 발견하게 되어 해당 부분에 대해 고민해 보았다. 개인정보 보호법 시행령 제17조 제1항 제1호가 갖는 의미를 고려하여 담당자의 준비 및 대응으로는 무엇이 있을까 하는 것이다. 개인정보 보호법 시행령 제17조 1항 제1호는 다음과 같다.정보주체가 자유로운 의사에 따라 동의 여부를 결정할 수 있을 것 이에 대한 나의 생각을 짧게 정리하면 다음과 같다.첫째로, 여기서의 핵심은 '자유로운 의사'라고 생각한다. 그리고 이것을 이해하기 위해서는 개인정보자기결정권의 개념을 우선적으로 받아들여야 할 것이다. 이는 단순 자신에 관한 정보를 통제할 수 있는 권리를 의미하는 데에서 그치지 않고, 경우에 따라서는 일정한 범위의 사람들에게 접근하거나 활용할 수 있도록 권리를 부..

티오리가 참 좋은 타이밍에 AI 모의해킹 솔루션을 내놓았다. 계속해서 모의해킹의 중요성을 이곳저곳에서 외치는 와중에 이런 기가 막힌 타이밍에 이런 솔루션을 출시했다는 것이 참 흥미롭다. 티오리라면 보안 업계에서는 모를 수가 없는 기업인데, 과연 여기서 출시한 솔루션의 성능이 어느 정도일지 참으로 궁금하다. 별도 에이전트 설치나 코드 변경 없이 URL 하나만 입력하면 바로 점검을 시작하고, 통상 2주가 소요되던 보안 점검 기간을 평균 12시간 내로 줄일 수 있다고 한다. 구독 형태라 각 조직에 맞춤형 플랜을 선택해 비용 부담을 줄일 수 있으니, 1년에 2번 모의해킹을 해야되는 것이 확정된다면 더욱 많은 관심을 받을 것이다. 현재의 모의해킹은 사실 대부분 이미 알려져도 한참 알려진 취약점들을 점검하는데, 물..

인증과 권한 부여를 하기 위해서는 아이디가 필요하다. 이 아이디 서비스의 이름을 Azure Active Directory라 한다. 마이크소프트의 클라우드 기반 디렉터리 및 ID 서비스다. 그런데 디렉터리 말고도 테넌트라는 용어도 접하기 쉬운데, AAD 테넌트라는 것이 있다. 디렉터리 실제 서비스를 운영하다 보면, 결국 같은 용어로 인지하게 되는데, 단일 조직을 나타내는 애저 AD의 전용 인스턴스 및 신뢰할 수 있는 인스턴스를 말한다. 즉, Azure Active Directory의 전용 인스턴스인 것이다. 그리고 도메인 값에 대한 부분들은 x.onmicrosoft.com이라는 초기 도메인을 할당받는다. 이 x부분은 내가 임의로 정할 수 있고, 사용자 맞춤형 도메인 추가 및 확인이 가능하다. Azure A..

심층방어를 이해하기에 앞서, 각 계층에 대한 이해가 필요하다. 클라우드 서비스 또는 호스팅 공급자가 소유하는 물리적 보안 계층, 인프라와 변경 제어에 대한 엑세스를 제어하는 신원 및 엑세스 계층, DDoS 보호 기능을 사용하여 최종 사용자에게 서비스 거부가 발생하기 전에 대규모 공격을 필터링하는 경계 계층, 구분 및 엑세스 제어를 통해 리소스 간의 통신을 제한하는 네트워크 계층, 가상 머신에 대한 엑세스를 보호하는 컴퓨팅 계층, 애플리케이션을 보호하고 보안 취약점을 제거하는 애플리케이션 계층, 보호해야 하는 비즈니스 및 고객 데이터에 대한 엑세스를 제어하는 데이터 계층이 있다. 그리고 이제 PaaS, IaaS, SaaS에 대한 이해가 있다면, 어느 부분에 대해 관심을 기울여야 할지에 대해 생각해볼 수 있..