2024 개인정보 이슈심층 분석 보고서(VOL.1) 개념 추출

★ 인공지능 모델 관련 프라이버시 공격 유형

① 전도공격: 공격 대상이 되는 분류 모델이 이용하는 클래스(Class)의 대표적인 이미지를 모델의 질의 결과를 이용하여 역산하는 공격

② 멤버 추론 공격: 정보주체의 데이터가 특정 클래스로 학습되었는지 확인하는 공격

③ 특징 추론 공격: 정보주체의 데이터 중 특정 특징(Attribute)을 추론하는 공격

④ 데이터 유출 공격: 훈련에 이용된 데이터를 추출하는 공격

 

★ 인공지능 모델 관련 공격 완화 및 권리보장 방안

① 인공지능 모델의 파라미터에 대한 접근 제한: 인공지능 모델의 내부 파라미터가 유출될 경우 공격자가 해당 모델에 대한 무제한의 질의와 모델 내부정보를 이용해서 프라이버시 공격들의 성능을 향상시키는 것이 가능하므로 해당 모델을 외부에 전부 공개하거나 모델에 대한 공격자로부터의 직접적인 접근을 제한해야 한다.

② 훈련 데이터의 큐레이션: 인공지능 모델에 이용되는 훈련데이터에서 개인정보에 해당하는 부분을 가명화 또는 익명화를 진행하며 훈련에 이용되는 정보주체의 프라이버시와 밀접한 연관이 있는 이미지와 같은 비정형 데이터에 대한 가명처리를 진행한다.

③ 데이터 수집에서 정보주체의 권리 존중: 인공지능 모델에 이용하는 학습 데이터를 인터넷에서 수집할 경우 Robot.txt와 Usage-Rights 메타 태그를 통해서 데이터 수집에 대한 거부 의사를 확인하여 데이터 수집한다.

④ 인공지능 모델을 분류에 이용하는 경우 질의의 클래스 결과만을 반환: 인공지능 모델에 대한 질의의 응답으로 주어지는 확률 벡터(confidence vector)를 반환하기보다는 질의의 결과에 해당하는 클래스만을 응답으로 제공하여 확률 벡터에 녹아있는(Distilled) 정보의 유출을 최소화한다.

⑤ 인공지능 모델에 대한 최대 허용 질의 수 제한: 인공지능 모델에 대하여 개인이 할 수 있는 질의 수에 제한을 두어 많은 질의를 통해 정보를 유출하려는 공격 시도를 차단한다.

⑥ 훈련 데이터에서 반복이 많은 개인과 연관된 데이터 제거: 언어모델의 경우 반복이 심한 문장들은 데이터 유출 공격에 더 취약한 경향이 있다는 연구결과에 따라 인공지능 모델이 성능 저하를 최소화하는 한에서 개인과 연관된 정보를 포함하는 문구의 반복을 최소화한다.

 

★ 인공지능 프라이버시 위험 분류 체계

프라이버시 위험	인공지능이 위험에 영향을 주는 방식	설명
데이터 수집 위험	감시 (Surveillance)	수집 개인정보의 규모와 편재성으로 감시 위험 악화
데이터 처리 위험	식별 (Identification)	규모, 지연성, 견고성, 편재성 등으로 새로운 식별 위험 생성
	집적 (Aggregation)	규모, 지연성, 편재성, 예측 역량 등에 따라 새로운 유형의 집적 위험 생성
	골상학/관상학 (Phrenology/Physiognomy)	임의의 입력과 출력 사이의 연계를 학습하여 골상/ 관상 관련 위험 생성
	목적 외 이용 (Secondary Use)	새로운 역량을 생성하여 목적 외 이용 위험 악화
	배제 (Exclusion)	동의 없는 개인정보 대량 학습으로 배제 위험 악화
	불안전 (Insecurity)	새로운 취약점을 형성하여 불안전 위험 악화
데이터 확산 위험	노출 (Exposure)	삭제 정보를 재구성하는 생성 기술로, 새로운 유형의노출 위험 생성
	왜곡 (Distortion)	실제 같은 가상 이미지/오디오 생성으로 새로운 왜곡위험 생성
	공개 (Disclosure)	추론으로 새로운 유형의 공개 위험 생성 및 학습 데이터 공유로 악화
	증가한 접근성 (Increased Accessibility)	대규모 데이터 세트 공개로 인한 개인정보 접근성 위험 악화
침입 위험	침투 (Intrusion)	중앙화/편재된 감시 인프라로 규모 및 편재성 측면의침투 위험 악화

 

★ 인공지능 시스템에 대한 단계별 리스크 평가방안

① 서비스 기획 단계
② 데이터 수집 단계
③ 데이터 학습 단계
④ 서비스 단계

⑴ 투명성

⑵ 개인정보 유출 방지

⑶ 정보주체의 권리 보장

⑷ 민감정보의 추론

⑸ 사업자 간의 책임 분배