개념
RLHF(Reinforcement Learning from Human Feedback)는 사람의 선호를 학습 신호로 바꿔 모델을 조정하는 방법이다. 사전 학습만 끝낸 LLM은 다음 토큰을 그럴듯하게 이어 붙이는 능력은 갖췄지만, 사용자가 원하는 방식으로 답하는 법은 따로 배우지 않은 상태다. RLHF는 그 간극을 메우는 단계다.
절차는 보통 세 단계로 나뉜다. 먼저 사람이 작성한 모범 답변으로 지도 학습을 해서 기본적인 응답 형태를 잡는다. 다음으로 같은 질문에 대한 여러 응답을 사람에게 보여 주고 어느 쪽이 더 나은지 고르게 한 뒤, 그 비교 데이터로 "사람이 선호할 만한 정도"를 점수로 내놓는 보상 모델을 학습한다. 마지막으로 이 보상 모델의 점수를 높이는 방향으로 원래 모델을 강화학습으로 갱신한다.
이때 모델이 보상 점수만 좇다가 원래 능력을 잃지 않도록, 학습 전 모델에서 지나치게 멀어지는 것을 억제하는 장치를 함께 둔다. 사람이 직접 모든 답을 채점하는 대신 보상 모델이 대신 채점하기 때문에, 제한된 사람의 노동으로 대규모 학습을 굴릴 수 있다는 점이 이 구조의 핵심이다.
사람에게 점수를 매기게 하지 않고 둘 중 더 나은 쪽을 고르게 하는 데도 이유가 있다. 같은 답변에 몇 점을 줄지는 평가자마다 기준이 흔들리지만, 둘을 비교해 고르는 판단은 훨씬 일관된다. 이 비교 데이터가 쌓여 보상 모델의 학습 재료가 된다.
쓰임새
우리가 쓰는 대화형 AI 서비스 대부분이 이 단계를 거친다. 지시를 따르는 능력, 위험한 요청을 거절하는 태도, 모르는 것을 모른다고 말하는 습관, 답변의 길이와 형식 감각 같은 것들이 주로 여기서 형성된다. 사전 학습만 끝낸 모델에 같은 질문을 던져 보면 차이가 분명한데, 답을 하는 대신 질문을 이어 쓰거나 관련 문서를 흉내 내는 식으로 반응하는 경우가 많다.
최근에는 사람의 비교 대신 규칙이나 다른 모델의 판단을 신호로 쓰는 변형도 널리 쓰이고, 강화학습 대신 선호 데이터로 곧바로 모델을 갱신하는 더 단순한 방법들도 함께 활용된다. 어느 쪽이든 "사람의 선호를 명시적 학습 목표로 삼는다"는 발상은 공유한다.
운영 관점에서 이 단계는 한 번으로 끝나지 않는다. 실제 서비스에서 모인 사용자 반응이 다음 회차의 비교 데이터가 되고, 그 데이터로 보상 모델과 정책 모델을 다시 조정하는 순환이 이어진다. 모델의 성향을 바꾸고 싶을 때 손대는 지점도 대개 이 단계의 지침과 데이터다.
자주 하는 오해
RLHF를 거치면 모델이 사실만 말하게 되나?
RLHF가 최적화하는 대상은 사람이 선호하는 답변이지 진실 그 자체가 아니다. 사람은 자신 있게 쓰인 글을 더 선호하는 경향이 있어서, 오히려 환각이 더 설득력 있게 포장될 여지도 있다.
RLHF를 하면 모델이 더 똑똑해지나?
늘어나는 것은 주로 지시 이행 능력과 표현 방식이다. 사전 학습에서 얻지 못한 지식이나 추론 능력이 이 단계에서 새로 생기지는 않는다.
사람의 피드백으로 학습했으니 중립적이지 않나?
어떤 사람에게 무엇을 기준으로 물었는지가 그대로 모델의 성향이 된다. 평가자 집단의 구성과 지침이 편향의 출처가 될 수 있어, 어떤 벤치마크로 검증했는지와 함께 봐야 한다.