IG-Bench는 새 연구가 기존 연구를 어떻게 계승·변형하는지, AI가 그 계보를 추론·생성할 수 있는지 측정하는 벤치마크다. 각 논문을 아이디어 유전체(Idea Genome) 객체로 표현하고 GenomeDiff로 정렬하며, 10개 학문 분야에 걸쳐 계보 추적 1,961건을 담는다. LLM 기반 과학자 시스템 14종을 시험한 결과, 최상위 시스템조차 계보 추론 정확 일치 기준 27.3%에 그쳤다.
왜 아이디어의 '계보'를 따지는가?
새로운 연구는 대개 완전한 무(無)에서 태어나지 않는다. 기존 연구의 작동 원리를 물려받고, 알려진 한계를 손보며, 여러 조각을 다시 조합하는 방식으로 자란다. 저자들은 이 과정을 생물의 유전체 계승에 빗대어 설명한다. 그러나 지금까지의 평가 방식은 AI가 이런 계승 구조 자체를 짚어낼 수 있는지에 대해서는 거의 답하지 못했다.
이 문제의식은 최근 AI 연구 평가 전반에서 반복적으로 제기되는 흐름과 맞닿아 있다. 모델이 단일 정답을 잘 맞히는지를 넘어, 여러 개념 사이의 관계를 얼마나 깊이 있게 파악하는지를 측정하려는 벤치마크 설계가 늘고 있는데, 이 논문도 그런 흐름 위에 있다.
이 연구가 제안한 IG-Bench는 바로 그 빈틈을 겨냥한 벤치마크다. 각 논문이나 제안을 최소 단위의 유형화된, 근거가 붙은 아이디어 유전체(Idea Genome) 객체 집합으로 표현하고, 두 대상 사이의 차이를 GenomeDiff로 정렬한다. 이 정렬은 계승, 변이, 소실, 외부 도입, 새로운 삽입이라는 관계를 여섯 가지 진화적 동역학 아래에서 기록한다. 데이터 규모는 10개 학문 분야에 걸쳐 계보 추적 1,961건, 정제된 아이디어 유전체 객체 1,085개, 쌍대 GenomeDiff 기록 920건에 이른다.
이런 식으로 연구를 잘게 쪼갠 구성 요소로 표현하는 접근은, 텍스트 전체를 뭉뚱그려 비교하는 방식보다 "무엇이 이어졌고 무엇이 새로 생겼는지"를 세밀하게 짚을 수 있다는 장점이 있다. 다만 그만큼 이 요소들을 정확히 뽑아내고 정렬하는 작업 자체의 난이도도 높아진다.
평가는 어떻게 나뉘고 어떤 병목이 드러났나?
벤치마크는 두 방향의 시험을 지원한다. 하나(IG-Exam)는 정답이 정해진 형태의 계보 추론을 다루며, 유전체 추상화, 계승 추적, 진화적 추론, 계보 검증에 걸쳐 42가지 과제 유형과 1,029개 사례로 구성된다. 다른 하나(IG-Arena)는 생성 능력을 평가한다. 여기서는 어떤 제안이 주어진 계보 집단의 자연스러운 후손으로 끼어들 수 있는지를 묻는 점수(Population-Evolution Score)를 쓴다. 즉 알맞은 유전체 요소를 물려받고, 인접 연구와 의미 있게 달라지며, 이후 연구에 선택될 만한 가치를 지녔는지를 함께 본다.
LLM 기반 과학자 시스템 14종을 시험한 결과는 조합적 병목을 드러낸다. 가장 뛰어난 시스템조차 계보 추론에서 정확 일치 기준 27.3%에 그쳤다. 또한 구조화된 계보 맥락을 제공하는 것이 모든 참가 시스템의 성능을 고르게 끌어올리기보다 순위 자체를 뒤섞는 결과로 이어졌다. 이는 계보 정보가 단순한 보조 자료가 아니라 시스템마다 다르게 작용하는 까다로운 조건임을 시사한다. 해당 논문은 2026년 7월 9일 공개되었다.
자주 묻는 질문
- Q. IG-Bench는 얼마나 큰 데이터로 구성되나?
- A. 10개 학문 분야에 걸쳐 계보 추적 1,961건, 아이디어 유전체 객체 1,085개, 쌍대 GenomeDiff 기록 920건으로 구성된다.
- Q. AI는 계보 추론을 얼마나 잘했나?
- A. LLM 기반 시스템 14종 중 최상위도 정확 일치 기준 27.3%에 그쳐, 계보 파악을 현재 LLM에 전적으로 맡기기는 이르다.
- Q. IG-Exam과 IG-Arena는 무엇이 다른가?
- A. IG-Exam은 정답이 정해진 계보 추론(42가지 과제 유형, 1,029개 사례)을, IG-Arena는 생성 능력을 평가한다.
실무에서 무엇을 주의해야 하나?
연구 자동화나 논문 검색·요약에 LLM을 활용하는 실무자에게 이 결과는 참고할 만한 신호다. 어떤 아이디어가 어떤 선행 연구에서 왔는지를 짚어내는 일은 단순 요약보다 훨씬 까다로운 추론을 요구하며, 최상위 시스템조차 정답률이 30%를 밑돌았다는 점은 "계보 파악"류의 작업을 현재 LLM에 전적으로 맡기기는 아직 이르다는 뜻으로 읽을 수 있다. 문헌 조사나 선행 연구 정리에 AI를 보조 도구로 쓰더라도, 계승 관계처럼 맥락이 얽힌 판단은 사람이 최종 검토하는 절차를 남겨두는 편이 안전하다.
함께 보면 좋은 글
출처: arXiv:2607.08758v1 https://arxiv.org/abs/2607.08758v1