개념
양자화(quantization)는 LLM의 가중치와 연산에 쓰이는 숫자를 32비트·16비트 같은 고정밀 표현 대신 8비트, 4비트, 심지어 그보다 적은 비트 수로 바꿔 표현하는 경량화 기법이다. 표현에 쓰는 비트 수를 줄이면 모델 파일 크기와 메모리 사용량이 줄고, 연산 속도가 빨라지는 효과가 있다.
학습이 끝난 모델에 사후 적용하는 학습 후 양자화(post-training quantization)가 널리 쓰이며, 제한된 메모리나 온디바이스 환경에 모델을 올릴 때 사실상 표준처럼 다뤄진다. 다만 비트 수를 줄일수록 원래 모델과 완전히 같은 결과를 보장하기는 어려워, 정확도나 퍼플렉서티 같은 전체 지표는 비슷하게 유지되더라도 개별 판단이 달라지는 경우가 보고된다.
쓰임새
양자화는 서버 비용을 줄이거나, 노트북·모바일 같은 온디바이스 환경에서 모델을 구동해야 할 때 주로 쓰인다. 다만 압축 강도가 세질수록 성능 저하 위험이 커지므로, 실제 배포 전에는 목표 과제에서 성능을 확인하는 과정이 필요하다.
전체 정확도가 비슷해 보여도 양자화가 모델의 개별 판단을 어떻게 바꿀 수 있는지는 양자화된 LLM의 겉보기 동일성 글에서 구체적인 연구 사례로 다룬다. 데이터로 모델을 다시 학습시키는 파인튜닝과는 목적이 다른, 이미 학습된 모델을 가볍게 만드는 별도의 기법이다.