AI를 통한 개인정보 식별 및 분석 개선

• 양방향 문맥 이해 기술을 활용하여 개인정보를 포함한 데이터를 정확히 분석하고 분류합니다.
• 이름, 주소, 의료 정보 등 다양한 개인정보 유형을 처리하며, 정형 데이터뿐만 아니라 비정형 데이터에서도 높은 정확도를 보장합니다.
• 데이터의 문맥을 이해하여 고정된 패턴에 의존하지 않고 유연하게 대응합니다.

2. 신뢰할 수 있는 데이터 수집 및 정제

• 공신력 있는 국가 데이터베이스와 공공 데이터 포털에서 개인정보 분류에 필요한 데이터를 수집합니다.
• 수집된 데이터는 중복 제거, 오류 수정, 표준화 작업 등의 정제 과정을 거치며, 품질 높은 학습 데이터로 사용됩니다.
• 데이터 정제는 분류 정확도 향상의 핵심 요소로, 고객 환경에 최적화된 결과를 제공합니다.

3. 개별 맞춤형 분류 모델 제공

• 개인정보 유형별로 최적화된 모델을 제공합니다.
• 예를 들어, 이름, 주소, 의료 정보 각각에 대해 별도로 설계된 AI 모델을 적용하여 높은 정확도를 유지합니다.
• 다양한 산업과 데이터 환경에 적응할 수 있도록 고객 요구에 따라 모델을 맞춤형으로 조정합니다.
• 지속적인 학습과 업데이트를 통해 새로운 데이터 패턴에도 유연하게 대응할 수 있습니다.

4. 효율적인 리소스 활용

• 정교한 사전 필터링 기능을 통해 필요하지 않은 텍스트를 걸러내어 처리 효율을 극대화합니다.
• 모델의 불필요한 호출을 최소화하여 시스템 자원 사용을 최적화하며, 비용 절감 효과를 제공합니다.

기술적 설명

모델 선정 배경

개인정보 분류 작업에 최적화된 성능을 제공하기 위해 다양한 AI 언어 모델을 비교 분석한 결과, BERT 기반 모델을 선택하였습니다. 최근 등장한 대형 언어 모델(GPT, Claude 등)과 비교했을 때, BERT는 다음과 같은 이유로 개인정보 분류 작업에 특히 적합합니다:

1. 효율적인 처리 속도

• BERT는 실시간 분류 작업에 필요한 속도와 성능을 균형 있게 제공합니다.
• 대규모 데이터 환경에서도 안정적으로 동작하며, 처리 지연을 최소화합니다.

2. 문맥 이해와 특징 추출 능력

• BERT는 입력 텍스트의 양방향 문맥을 분석하여 개인정보를 정확히 분류하는 데 강점을 보입니다.
• 이름, 주소, 의료 정보 등 다양한 개인정보 유형을 다룰 때 높은 정확도를 유지합니다.

3. 모델 조합 및 최적화

• 개인정보 유형에 따라 가장 적합한 모델을 선택하여 적용합니다.
• KoElectra: 한국어 기반 데이터에 최적화된 오픈소스 모델로, 특정 개인정보(예: 의료 기록, 주소 등)에 탁월한 성능을 제공합니다.
• BERT 기반 커스텀 모델: 직접 학습시킨 BERT 모델은 짧은 텍스트나 축약어로 인해 발생하는 Out-of-Vocabulary 문제에서도 오픈소스 모델보다 안정적인 성능을 제공합니다.
• 이 조합을 통해 다양한 개인정보 유형에서 각각의 모델의 강점을 극대화하고 있습니다.

4. 높은 정확도와 유연성

• 각각의 모델이 가진 특성을 활용하여 개인정보 분류 작업에서 높은 정확도를 기록하고 있습니다.
• 특히, 새로운 데이터 패턴과 환경 변화에도 유연하게 적응할 수 있는 학습 및 업데이트 체계를 갖추고 있습니다.

솔루션 구성 요소 설명

AI 분류기의 개인정보 분류 프로세스는 정확성과 효율성을 극대화하기 위해 단계별로 설계되었습니다. 아래는 각 구성 요소의 상세 설명입니다:

1. 사전 필터링

• 역할: 입력된 문장을 분석하여 개인정보와 관련 없는 불필요한 텍스트를 제거합니다.
• 효과: 모델이 실제로 처리해야 하는 데이터의 양을 줄여 리소스를 효율적으로 사용하며, 처리 속도를 개선합니다.
• 예시:
• 특수 문자 또는 숫자로만 이루어진 텍스트: "123456", "!@#$%^&*"와 같은 텍스트는 주소, 의료 정보 등의 개인정보와 관련성이 낮으므로 분석 단계에서 제외됩니다.
• 개인정보 유형에 맞지 않는 텍스트: 예를 들어, "홍길동"과 같이 한글로만 이루어진 텍스트는 로마자 이름 분류기에서 제외됩니다. 반대로, "Gil-Dong Hong"과 같은 로마자로 구성된 이름만 로마자 이름 분류기에 전달됩니다.

2. 문맥 분석 모델

• 역할: Ko-Electra와 같은 BERT 기반 언어 모델을 활용하여 입력 텍스트의 문맥을 심층 분석합니다.
• 효과: 단순히 키워드를 검색하는 것이 아니라 문맥 속 의미를 이해하여 개인정보 여부를 정확히 판단합니다.
• 특징:
• 이 단계에서는 주소, 이름, 의료 정보와 같은 복잡한 데이터 유형도 처리 가능하며,
• 새로운 데이터 패턴에도 유연하게 대응합니다.

3. 분류 레이어

• 역할: 문맥 분석 모델이 추출한 특징 벡터를 기반으로, 텍스트가 개인정보를 포함하고 있는지 여부를 최종적으로 판단합니다.
• 효과: 정확한 개인정보 여부를 판별하고, 결과를 체계적으로 정리하여 고객 환경에 적합한 형태로 출력합니다.
• 예시 출력:
• 입력 텍스트가 주소 정보를 포함하는 경우, 출력 결과는 *"is_address: true"*와 같은 형식으로 나타납니다.
• 이는 개인정보 포함 여부를 명확히 전달하며, 이후의 프로세스에서 활용될 수 있도록 데이터 구조를 간결화합니다. 

데이터 수집 및 정제

1. 데이터 수집

신뢰할 수 있는 공공 데이터 및 검증된 출처에서 개인정보 분류에 필요한 데이터를 직접 수집합니다.

• 공신력 있는 데이터 소스: 국가통계포털, 전자가족관계시스템, 보건의료 빅데이터 개방 시스템, 주소기반산업지원서비스 등 다양한 소스에서 데이터를 확보합니다.
• 다양한 데이터 유형:
• 주소 데이터: 주소기반산업지원서비스 한글 주소 데이터의 시,군,구 정보를 조합해 실제 주소 (또는 그와 유사한 주소를 생성한) 데이터를 학습힙니다.
• 의료 정보: 보건의료 빅데이터 개방 시스템의 다빈도 상병별 현황, 다빈도 질병통계 등 용어와 관련된 통계자료에서 의료 용어와 약어를 추출합니다.
• 직업 및 자격증 정보: 고용노동부 한국직업사전 통합본, PQI (민간자격정보서비스) 등에서 직업 및 자격증 정보를 확보합니다.
• 정확성 보장: 데이터 출처가 공신력 있는 기관임을 확인하고, 수집 단계에서부터 품질을 엄격히 관리합니다.

2. 데이터 정제

수집된 데이터는 바로 사용되지 않고, 정제 과정을 통해 일관성과 품질을 확보합니다.

• 중복 제거: 동일한 데이터가 반복적으로 학습에 사용되지 않도록 중복 항목을 제거합니다.
• 오류 수정: 잘못된 표기, 누락된 항목 등을 검토하고 수정합니다. 예를 들어, 주소 데이터의 오탈자나 잘못된 구문을 수정합니다.
• 표준화 작업: 특수문자 제거, 불필요한 공백 제거, 약어 사전 구축 등으로 모델이 데이터를 일관되게 처리할 수 있도록 합니다.
• 품질 검증: 데이터 정제 후 샘플 데이터를 검토하여 정확성과 적합성을 확인합니다.

분류 작업 과정

1. AI 분류기 학습

AI 분류기는 개인정보 유형별 특성을 반영한 맞춤형 학습 과정을 통해 높은 정확도를 보장합니다.

• 파인튜닝 과정:
• 기본 언어 모델(BERT 또는 Ko-Electra)을 개인정보 분류 작업에 맞게 파인튜닝합니다.
• 데이터 유형별로 학습이 세분화됩니다(예: 이름, 주소, 의료 정보, 직업 등).
• 데이터 증강:
• 다양한 형식의 데이터를 포함하여 모델이 새로운 데이터 패턴에 적응할 수 있도록 학습합니다.
• 예시:
• "서울특별시 강서구 양천로 110-2430"
• "서울 강서구 양천로 110동 2430호"
• 위 두 형식이 동일한 주소임을 인식하도록 학습.
• 과적합 방지:
• Early stopping, Dropout 등의 기법을 활용해 학습 데이터를 과도하게 모델에 맞추는 것을 방지합니다.

2. 텍스트 분류

학습된 AI 분류기는 실시간으로 입력 데이터를 처리하여 개인정보 여부를 판단하고 결과를 제공합니다.

• 실시간 분석 과정:
• 입력 텍스트의 문맥을 분석하고, 개인정보 여부를 빠르게 판단합니다.
• 예시 입력:
• 입력 데이터: "서울특별시 강서구 양천로 110-2430"
• 분석 결과:
• "주소"로 분류
• 고객의 시스템에서 활용하기 쉽도록 구조화된 형태로 제공 → { is_address: true, text: "서울특별시 강서구 양천로 110-2430" }
• 분류 기준 커스터마이징: 고객의 비즈니스 요구에 따라 분류 기준을 유연하게 설정할 수 있는 기능을 제공합니다.
• 사용 사례: 주소, 이름만 분석 대상으로 설정

개발된 AI 분류기의 정확도

QueryPie AI 분류기는 개인정보 분류 작업에서 높은 정확도를 달성하기 위해 철저한 데이터 준비와 평가 과정을 거쳤습니다. 딥러닝 모델의 성능은 다음과 같은 방식으로 평가되고 지속적으로 개선되고 있습니다.

1. 데이터셋 구성 및 평가 방식

• 학습용 데이터셋: 개인정보 유형별로 수집된 대규모 데이터를 사용하여 모델을 학습시킵니다.
• 테스트용 데이터셋: 학습 데이터와 명확히 분리된 데이터를 사용하여 모델의 성능을 평가합니다.
• 테스트 데이터는 실제 데이터와 유사한 분포를 가지며, 다양한 데이터 패턴을 포함하여 모델의 일반화 능력을 확인합니다.
• 실제 데이터 환경 반영:
• 현실 환경에서는 예상치 못한 새로운 데이터 패턴이 등장할 가능성이 높습니다.
• 이를 극복하기 위해 가상 데이터 생성 및 데이터 증강 기법을 활용하여 다양한 시나리오를 모델에 학습시켰습니다.
• 예시: "서울특별시 강서구 양천로 110-2430"과 "서울 강서구 양천로 110동 2430호"처럼 동일한 정보를 여러 형식으로 표현한 데이터를 포함.

2. 과적합 방지 기법

QueryPie AI 분류기는 과적합을 방지하고 일반화 성능을 강화하기 위해 Early Stopping, Dropout, Batch Normalization, Data Augmentation 기법을 적용하고 있습니다.

• Early Stopping
• 학습 중 검증 데이터의 성능(예: 손실 또는 정확도)이 일정 기간 동안 개선되지 않을 경우 학습을 조기에 종료합니다.
• 예시: 모델 학습에서 검증 손실이 5개의 에포크 동안 감소하지 않을 때, 학습이 에포크 15에서 자동 종료되었습니다. 이를 통해 과적합을 방지하고 리소스를 절약하였습니다.
• Dropout
• 학습 과정에서 뉴런의 일부를 랜덤하게 비활성화하여 특정 뉴런에 대한 의존을 줄이고, 모델의 다양성을 강화합니다.
• 예시: 주소 데이터를 학습하는 네트워크에서 30%의 드롭아웃 비율을 적용하여 특정 주소 패턴에 의존하지 않고, 새로운 주소 형식에도 유연하게 대응할 수 있었습니다.
• Batch Normalization
• 모델 학습 과정에서 각 층의 입력을 정규화하여 학습 속도를 높이고, 과적합 가능성을 줄입니다.
• 예시: 직업 데이터를 분류하는 네트워크에서 배치 정규화를 적용하여 학습 초기의 불안정성을 줄이고, 최적화 과정을 안정적으로 유지하였습니다.
• Data Augmentation
• 데이터의 다양성을 높이기 위해 기존 데이터를 변형하여 새로운 학습 데이터를 생성합니다.
• 예시: 주소 데이터에서 "서울특별시 강남구"를 "서울 강남구"로 변형하거나, 로마자 이름에서 “Ryu”를 “Ryoo” 로 변형한 데이터를 추가하여 모델이 다양한 표현에도 대응할 수 있도록 학습하였습니다.

3. 정확도 및 성능 결과

QueryPie AI 분류기는 개인정보 유형별로 최적화된 모델을 사용하여 높은 정확도를 기록하고 있습니다. 각 항목의 정확도는 다음과 같습니다:

이와 같은 높은 정확도는 개인정보 유형별로 BERT 모델을 오픈소스 또는 자체 학습 방식으로 최적화하고, 각 유형에 특화된 분류 레이어를 별도로 학습하여 설계한 결과입니다. 이러한 노력을 기반으로, 앞으로도 과적합을 방지하고 성능을 더욱 개선하기 위해, 지속적으로 다양한 데이터셋을 확보하고 학습을 이어갈 예정입니다. 이를 통해 고객은 변화하는 데이터 환경에서도 안정적인 분류 성능을 경험할 수 있으며, 더욱 정확한 개인정보 보호 서비스를 제공받을 수 있습니다.

모델 최적화 및 배포 전략

AI 분류 시스템의 높은 성능과 효율성을 유지하기 위해 모델 최적화와 배포 방식을 체계적으로 설계하였습니다. 이를 통해 실시간 분류 환경에서 안정적이고 신속한 응답을 제공합니다.

1. 모델 최적화 전략

• 모델 경량화:
• BERT 계열 모델과 다양한 오픈 소스 모델(KoElectra 등)을 비교 분석하여 응답 속도와 정확도에서 최적의 균형을 찾았습니다.
• 이를 기반으로 모델 경량화 작업을 수행하여, 높은 성능을 유지하면서도 처리 속도를 크게 개선하였습니다.
• 예시: 텍스트 분류 작업에서 필요한 파라미터 수를 최적화하여 불필요한 계산을 줄이고, 리소스 사용을 최소화함.
• 실시간 분류 성능 강화:
• 경량화된 모델은 실시간 데이터 처리에 적합하며, 다양한 규모의 데이터 환경에서도 일관된 성능을 제공합니다.
• 새로운 데이터 패턴이 등장할 경우에도 신속하게 적응할 수 있도록 모델 학습 구조를 유연하게 설계하였습니다.

2. 효율적인 배포 전략

• 컨테이너 기반 배포:
• 컨테이너 기술을 활용하여 분류 모델을 경량화된 환경에서 실행합니다.
• 이를 통해 배포 과정이 간소화되며, 다양한 IT 환경에서도 손쉽게 통합 및 운영할 수 있습니다.
• 리소스 관리 및 안정성 확보:
• CPU와 메모리 사용량을 효율적으로 관리하기 위해 환경 변수를 활용하여 자원 사용 한도를 설정합니다.
• 분류 작업이 병렬적으로 실행되는 상황에서도 안정적인 성능을 유지합니다.
• 예시: 대규모 데이터를 처리하는 경우에도 응답 속도를 유지하면서 리소스 초과를 방지합니다.
• 보안 강화:
• 배포 환경에서 멀티 스테이지 빌드를 통해 불필요한 파일과 레이어를 제거하여 경량화와 보안성을 동시에 확보하였습니다.
• 최신 베이스 이미지를 사용하여 잠재적인 보안 취약점을 최소화하였습니다.

향후 개발 방향

QueryPie AI 분류기는 글로벌 시장에서 개인정보 보호와 데이터 관리의 최적 솔루션으로 자리 잡기 위해 단계적으로 확장을 계획하고 있습니다. 각국의 법적 규제와 문화적 차이를 고려하여 현지화된 서비스를 제공함으로써, 다양한 데이터 환경에서도 높은 신뢰성과 성능을 보장할 것입니다.

1. 글로벌 시장 진출

• 현지화된 서비스 제공:
• 각 국가의 개인정보 보호법(GDPR, CCPA 등)과 규제를 면밀히 분석하여, 현지 요구 사항에 부합하는 맞춤형 솔루션을 제공합니다.
• 예시: 유럽에서는 GDPR 준수를 중점적으로 반영한 데이터 처리, 미국에서는 CCPA의 삭제 요청 및 데이터 판매 거부 기능 강화.
• 언어와 문화적 차이 반영:
• 다양한 국가에서 사용 가능한 다국어 지원 모델을 개발하여, 언어별 특수성을 반영한 정교한 개인정보 분류가 가능하도록 설계합니다.
• 예시: 한글에서는 "PD"라는 약어로 방송 프로듀서를 지칭하지만, 영어에서는 "Producer" 또는 "Television Producer"라는 정식 명칭을 사용합니다. 이를 학습 데이터에 반영합니다.
• 지역 맞춤형 기술 적용:
• 각 지역에서 일반적으로 사용되는 데이터 형식과 구조를 반영한 시스템 최적화 작업을 진행합니다.
• 예시: 일본은 큰 지역(현)에서 작은 지역(번지) 순으로, 독일은 반대로 작성합니다. 이러한 주소 데이터의 국가별 형식 차이를 고려하여 해당 지역에 특화된 분류 모델을 적용합니다.

2. 성능 개선과 확장성 강화

• 다국어 환경에서의 성능 강화:
• 기존 모델이 보여준 높은 성능을 기반으로, 다른 언어에서도 유사한 성능을 기대하며 지속적으로 최적화를 진행합니다.
• 테스트 및 검증 데이터셋을 확장하여, 새로운 언어와 데이터 패턴에도 안정적인 성능을 보장합니다.
• 데이터 다양성 확대:
• 지역 및 산업별 특화된 데이터를 통합하여, 의료, 금융, 공공기관 등 특정 도메인에서도 활용 가능한 솔루션을 제공합니다.
• 예시: 의료 약어와 전문 용어가 포함된 데이터, 산업별 전문 용어와 직업 정보를 추가 학습.

3. 고객 중심의 서비스 제공

• 고객 요구 사항 반영:
• 각 지역의 고객이 직면한 특정 문제를 파악하고, 이를 해결할 수 있는 맞춤형 기능을 제공합니다.
• 예시: 특정 규제 준수를 위한 자동화 보고서 생성 기능이나 실시간 경고 시스템 제공.
• 일관된 사용자 경험:
• 다양한 지역에서도 동일한 품질의 서비스를 제공하여, 고객이 데이터 환경의 변화에 관계없이 신뢰할 수 있는 결과를 받을 수 있도록 지원합니다.

결론

QueryPie는 개인정보 보호의 핵심 과제를 해결하기 위해 높은 정확도와 효율성을 갖춘 AI 기반 분류기를 탑재한 **AIDD(AI Data Discovery)**를 개발하였습니다. 기존의 규칙 기반 분석 시스템은 고정된 패턴에 의존해 다양한 형태의 개인정보를 처리하는 데 한계를 보였습니다. 이에 반해, AI 분류기는 문맥 분석과 패턴 인식 기술을 활용하여 주소, 이름, 의료 정보 등 복잡하고 변화하는 개인정보를 정확히 식별할 수 있습니다. 이러한 혁신적인 접근 방식은 고객에게 다음과 같은 이점을 제공합니다:

1. 데이터 보호 수준 강화: 다양한 개인정보 유형을 정확히 분류하여 데이터 관리의 복잡성을 줄이고 보호 수준을 향상합니다.
2. 규제 준수 지원: GDPR, CCPA 등 글로벌 규제 요구사항을 충족할 수 있도록 설계되어 법적 리스크를 최소화합니다.
3. 운영 효율성 개선: 신속하고 정확한 분류를 통해 시간과 비용을 절감하며, 고객의 비즈니스 환경에 최적화된 솔루션을 제공합니다.

앞으로도 QueryPie 는 과적합 방지, 데이터셋 확장, 지속적인 학습을 통해 AI 분류기의 안정성과 성능을 지속적으로 개선할 것입니다. 또한, 새로운 데이터 환경과 고객 요구에 신속히 대응할 수 있는 유연한 시스템을 구축하여 고객이 신뢰할 수 있는 서비스를 제공할 것입니다.

더불어, QueryPie는 해당 AIDD를 북미, 유럽, 아시아 태평양 지역으로 단계적으로 글로벌 확장을 진행할 계획입니다. 각국의 개인정보 보호법과 규제에 맞춘 현지화된 솔루션을 통해 전 세계 고객에게 동일한 수준의 일관된 보호와 성능을 제공합니다. 이를 통해 고객은 어디에서나 개인정보 보호와 관리에 대한 높은 신뢰를 경험할 수 있을 것입니다.

Appendix

References

• 고용노동부 한국직업사전 통합본
• 건강보험의료평가원 - 보건의료 빅데이터 개방 시스템
• PQI (민간자격정보서비스) 자격증 목록
• 주소기반산업지원서비스 한글 주소 데이터
• 로마자 성명 표기 규정
• 전자가족관계시스템
• 국가통계포털
• 한글, 영어 wikipedia dump data
• Korean Naver Blog Comment Dataset
• 국립국어원 한글 사전
• 국립국어원 모두의 말뭉치 - 신문 말뭉치 2022