-Nemotron-H·Zamba2 공개 모델 실행 경로서 인과 누설 확인…인위적 결함 192건 층 단위 탐지
-연구 성과 AI 안전성 진단 시스템에 적용…정부 ‘보안 특화 파운데이션 모델’ 사업 검증 기술로 제시

AI 딥테크 기업 비드래프트(VIDRAFT)가 공개 AI 모델에서 구조적 인과 결함을 탐지한 연구 성과를 자사 AI 안전성 진단 시스템 ‘AX-RAY’에 적용하고, 보안 특화 파운데이션 모델 검증 기술로 확장한다.

비드래프트는 지난 24일 arXiv에 공개한 논문 ‘The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models’에서 자기회귀 AI 모델의 ‘인과 누설(Causal Leakage)’을 판정하는 진단 방법을 제시했다고 밝혔다.

인과 누설은 자기회귀 모델이 원칙적으로 참조해서는 안 되는 미래 토큰의 정보가 앞선 계산 과정에 유입되는 현상을 의미한다. 비드래프트 연구진은 해당 방법을 공개 모델에 적용한 결과 엔비디아(NVIDIA)의 ‘Nemotron-H-8B’와 자이프라(Zyphra)의 ‘Zamba2-1.2B’ PyTorch 실행 경로에서 인과 누설 현상을 확인했다고 설명했다.

기존 자기회귀 모델의 인과성 검증은 주로 어텐션의 ‘causal mask’가 정상적으로 적용됐는지를 확인하는 방식으로 이뤄져 왔다. 하지만 최근에는 어텐션뿐 아니라 상태공간모델(SSM), 순환연산, 합성곱, 청크 스캔 등을 결합한 하이브리드 모델이 등장하면서 다른 연산 경로에서도 미래 정보가 유입될 가능성을 검증할 필요가 있다는 것이 연구진의 판단이다.

비드래프트가 제안한 방식은 마지막 위치만 다른 두 입력을 각각 한 번씩 순전파한 뒤 각 층의 앞부분 내부 표현이 달라지는지를 비교한다. 정상적인 자기회귀 모델이라면 미래 위치의 입력을 변경해도 이전 위치의 표현은 유지돼야 한다는 원리를 활용했다.

회사 측은 별도의 학습이나 그래디언트 계산 없이 두 차례의 순전파만으로 인과성이 처음 깨지는 층을 특정할 수 있는 것이 특징이라고 설명했다.

연구진은 다양한 유형의 인과 결함 192건을 인위적으로 주입한 실험도 진행했다. 논문에 따르면 기존 마스크 점검 방식에서는 해당 결함을 탐지하지 못했지만 새 진단 방법은 192건 모두를 층 단위에서 찾아냈다.

오픈소스 라이브러리 ‘transformers 5.7.0’의 청크 스캔 구현에 대한 코드 분석도 진행했다. 연구진은 정상 구현과 특정 구현 사이에서 입력 청크 축과 출력 청크 축의 처리 방식에 차이가 있다는 점을 확인한 뒤 실제 모델을 대상으로 검증했다.

그 결과 Zamba2-1.2B에서는 선언된 청크 크기 256부터, Nemotron-H-8B에서는 128부터 누설이 시작됐다고 밝혔다. 반면 Bamba-9B, Falcon-H1, Granite-4.0-H, Mamba2, RecurrentGemma 등 비교 모델에서는 동일한 문제가 확인되지 않았다는 것이 연구진의 설명이다.

비드래프트는 인과 누설이 발생할 경우 모델의 성능평가 결과에도 영향을 줄 수 있다고 보고 있다. 미래 정보가 현재 예측에 유입되면 다음 토큰 예측이 쉬워지면서 학습 손실이나 혼란도(PPL) 같은 지표가 실제 구현 상태보다 좋게 나타날 가능성이 있다는 설명이다.

회사는 이번 연구 성과를 AI 안전성 진단 시스템 AX-RAY에 적용하고 있다. AX-RAY는 모델의 벤치마크 점수뿐 아니라 실제 실행 코드와 모델 구조가 설계 의도대로 동작하는지, 비정상적인 인과 의존성이나 구조적 위험경로가 있는지를 점검하는 것을 목표로 한다.

관련 기술에 대해서는 논문 공개에 앞서 국내 특허 출원과 심사 청구를 마쳤다고 회사 측은 밝혔다.

비드래프트는 현재 정부 공모 사업인 ‘사이버 보안 특화 인공지능 파운데이션 모델 개발’ 컨소시엄에 참여하고 있으며 AX-RAY를 모델의 구조적 안전성을 검증하는 기술로 제시하고 있다. 공격 탐지 성능뿐 아니라 모델 자체의 구현 정확성과 예상하지 못한 위험경로를 함께 점검하겠다는 전략이다.

김민식 비드래프트 대표는 “보안 파운데이션 모델은 단순히 성능이 좋은 모델을 만드는 것으로 끝나서는 안 된다”며 “모델이 실제 실행환경에서 원래 설계된 인과구조를 지키는지, 구조적으로 숨겨진 결함이 없는지를 검증할 수 있어야 한다”고 말했다.

이어 “이번 논문은 AX-RAY가 실제 코드와 실행 결과를 통해 AI의 구조적 안전성을 계측할 수 있다는 기술적 근거를 제시한 것”이라며 “연구에서 발견한 문제를 진단 기술로 만들고 이를 국가 보안 AI 검증에 적용하는 연구·제품·사업 연계 구조를 구축할 계획”이라고 밝혔다.

한편 비드래프트는 전 국민 대상 AI 서비스 구축 사업인 ‘모두의 AI’에서도 이스트소프트 컨소시엄에 참여해 AI 모델 성능 최적화와 경량화를 담당하고 있다. 회사는 모델 개발·최적화와 AX-RAY 기반 안전성 검증을 연계해 성능과 실행 효율, 구조적 안전성을 함께 다루는 기술 체계를 구축한다는 방침이다.
 
 
 
 

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지