학습 후 양자화된 LLM은 정확도와 퍼플렉서티가 원본과 비슷해도 실제 판단은 달라진다. 이 연구는 두 모델이 같은 문제를 함께 맞히는 정도를 재는 '정답 일치도'를 제안해, 8비트에서 2비트에 이르는 양자화의 중간 구간에서도 이미 행동이 어긋남을 보였다. 어텐션의 쿼리·키 투영이 값·출력 투영보다 민감하고, 저비트 구간에는 왜곡이 비선형적으로 급변하는 지점이 존재한다.
대형 언어 모델을 제한된 자원 환경에 올릴 때 학습 후 양자화(post-training quantization)는 사실상 표준처럼 쓰인다. 그런데 이 연구는 양자화된 모델을 평가할 때 거의 항상 정확도와 퍼플렉서티에만 의존하는 관행에 문제를 제기한다. 두 지표가 비슷하게 유지되더라도, 모델이 실제로 내리는 판단은 달라질 수 있다는 것이 핵심 주장이다.
정답 일치도란 무엇인가?
연구진은 절대 정확도와는 별개로, 원본 모델과 양자화 변형이 "같은 문제를 같이 맞히는 정도"를 재는 결정 수준 지표를 제안한다. 이를 정답 일치도(correctness agreement)라고 부르며, 두 모델의 전체 점수가 비슷하더라도 어떤 입력에서 맞고 틀리는지가 어긋날 수 있음을 드러낸다.
여러 모델과 8비트부터 2비트까지의 다양한 양자화 방식을 대상으로 실험한 결과, 과제 성능이 겉으로는 보존된 것처럼 보이는 중간 수준의 양자화에서도 이미 행동의 어긋남이 나타났다. 즉 점수표만 보면 두 모델이 사실상 같아 보이지만, 개별 판단을 들여다보면 그렇지 않다는 뜻이다.
양자화는 어텐션을 어떻게 왜곡하나?
왜 이런 현상이 생기는지를 설명하기 위해, 연구진은 양자화를 어텐션 가중치에 작용하는 하나의 구조적 연산자로 보고 계층별 왜곡을 통계적·분포적 척도로 정량화했다. 그 결과 두 가지 관찰이 두드러진다.
- 낮은 비트폭에서 왜곡이 매끄럽게 늘지 않고 비선형적으로 급변하는 지점(breakpoint)이 존재한다.
- 쿼리(query)와 키(key) 투영이 값(value)과 출력(output) 투영보다 일관되게 더 민감하게 반응한다.
이 두 관찰은 어느 부분을, 얼마나 세게 압축하느냐에 따라 모델의 내부 동작이 급격히 달라질 수 있음을 시사한다.
자주 묻는 질문
- Q. 정확도가 같으면 양자화 모델을 원본과 동일하게 봐도 되나?
- A. 아니다. 정확도·퍼플렉서티가 비슷해도 어떤 입력에서 맞고 틀리는지가 어긋날 수 있어, 정답 일치도 같은 행동 기반 평가를 함께 해야 한다.
- Q. 양자화에 특히 민감한 부분은 어디인가?
- A. 어텐션의 쿼리·키 투영이 값·출력 투영보다 일관되게 더 민감하게 반응한다.
- Q. 비트폭을 낮출수록 왜곡이 매끄럽게 늘어나나?
- A. 아니다. 낮은 비트폭에서는 왜곡이 비선형적으로 급변하는 지점(breakpoint)이 존재한다.
배포 전에 무엇을 확인해야 하나?
정리하면, 원본과 양자화 모델이 같은 성능을 낸다는 인상은 상당 부분 착시에 가깝다. 관례적인 성능 지표만으로는 이 차이를 볼 수 없으므로, 배포 전에는 판단 자체의 변화를 살피는 행동 기반 평가를 함께 수행할 필요가 있다. 특히 쿼리·키 투영의 민감성과 저비트 구간의 급변점을 고려하면, 양자화 설정을 정할 때 단일 정확도 수치에 기대는 방식은 위험할 수 있다.
출처: arXiv:2607.08734v1 https://arxiv.org/abs/2607.08734v1