파인튜닝·모델 경량화

파인튜닝, 양자화, 저계수 정규화 등 모델 최적화

가이드2026-07-11

파인튜닝과 RAG를 비용, 데이터, 최신성, 유지보수 관점에서 비교하고 상황별 선택 기준을 정리합니다.

가이드2026-07-10

정확도와 퍼플렉서티만으로는 양자화가 유발하는 LLM의 행동 변화를 포착하지 못한다는 연구를, 정답 일치도 지표와 어텐션 계층 분석 중심으로 정리한다.

가이드2026-07-10

SVD 계산이나 모델 구조 변경 없이, 학습 중 가중치를 압축하기 쉬운 형태로 유도하는 저계수 정규화 기법 SLORR을 정리한다.

용어2026-07-11

모델의 가중치·연산을 더 적은 비트 수로 표현해 모델 크기와 연산량을 줄이는 경량화 기법이다. 제한된 자원 환경에 모델을 올릴 때 흔히 쓰인다.

용어2026-07-10

이미 학습된 모델을 특정 작업이나 도메인 데이터로 추가 학습시켜 성능을 맞추는 기법이다. 처음부터 학습하는 대신 기존 가중치를 출발점으로 삼는다.