파인튜닝·모델 경량화

파인튜닝, 양자화, 저계수 정규화 등 모델 최적화

가이드비교2026-07-11

파인튜닝과 RAG를 비용, 데이터, 최신성, 유지보수 관점에서 비교하고 상황별 선택 기준을 정리합니다.

가이드AI 연구2026-07-10

정확도와 퍼플렉서티만으로는 양자화가 유발하는 LLM의 행동 변화를 포착하지 못한다는 연구를, 정답 일치도 지표와 어텐션 계층 분석 중심으로 정리한다.

가이드AI 연구2026-07-10

SVD 계산이나 모델 구조 변경 없이, 학습 중 가중치를 압축하기 쉬운 형태로 유도하는 저계수 정규화 기법 SLORR을 정리한다.

용어2026-08-02

원본 모델의 가중치는 그대로 두고 작은 보조 행렬만 학습해서 모델을 특정 용도에 맞추는 경량 파인튜닝 기법이다. 학습해야 할 파라미터 수가 크게 줄어 적은 자원으로도 모델을 조정할 수 있다.

용어2026-08-02

사람이 매긴 응답 선호도를 학습 신호로 삼아 모델의 답변 방식을 다듬는 학습 기법이다. 오늘날 대화형 AI가 유용하고 안전한 답을 내놓도록 만드는 핵심 단계로 쓰인다.

용어2026-07-11

모델의 가중치·연산을 더 적은 비트 수로 표현해 모델 크기와 연산량을 줄이는 경량화 기법이다. 제한된 자원 환경에 모델을 올릴 때 흔히 쓰인다.

용어2026-07-10

이미 학습된 모델을 특정 작업이나 도메인 데이터로 추가 학습시켜 성능을 맞추는 기법이다. 처음부터 학습하는 대신 기존 가중치를 출발점으로 삼는다.