개념
벤치마크는 여러 LLM이나 AI 시스템을 동일한 과제 집합과 채점 기준으로 시험해, 서로 다른 모델의 성능을 같은 조건에서 비교할 수 있게 만든 평가 체계다. 문제 은행과 정답, 점수를 매기는 방식을 표준화해 두면, 모델 개발자가 아닌 제3자도 "이 모델이 저 모델보다 어느 영역에서 얼마나 나은지"를 재현 가능한 방식으로 확인할 수 있다.
벤치마크는 목적에 따라 형태가 다양하다. 정답이 정해진 객관식·단답형 문제로 지식이나 추론 능력을 재는 것도 있고, 실제 도구를 다루며 여러 턴에 걸쳐 목표를 수행하는 에이전트를 평가하기 위해 실행 환경과 단계별 체크포인트를 함께 두는 것도 있다. 어떤 벤치마크든, 측정하려는 능력을 과제가 얼마나 잘 대표하는지가 결과의 신뢰도를 좌우한다.
쓰임새
벤치마크 점수는 모델 선택, 서비스 적용 여부 판단, 연구 성과 비교 등에 널리 쓰인다. 다만 전체 점수나 정확도 같은 단일 지표만으로는 모델의 실제 동작 변화를 놓칠 수 있다는 점도 함께 고려해야 한다. 예를 들어 양자화된 모델은 전체 정확도가 원본과 비슷해 보여도 개별 판단이 달라질 수 있다는 연구 결과가 있다(양자화된 LLM의 겉보기 동일성 참고).
실환경에 가까운 조건에서 능동형 에이전트의 세부 역량을 나눠 평가하려는 최근 시도는 UniClawBench 같은 벤치마크에서 확인할 수 있다.