개념
시각 질의응답(Visual Question Answering, VQA)은 이미지나 영상과 그에 대한 질문을 함께 입력하면, 모델이 텍스트로 답을 내놓는 과제다. "이 사진에 우산을 든 사람이 있는가", "이 장면에서 신호등은 무슨 색인가"처럼 시각 정보를 근거로 답해야 하는 질문을 다루기 때문에, 텍스트만 처리하는 모델로는 풀 수 없고 이미지와 언어를 함께 이해하는 멀티모달 모델이 필요하다.
VQA 과제를 푸는 모델은 대개 이미지를 텍스트와 같은 표현 공간으로 옮기는 인코더를 거친 뒤, 질문 문장과 이미지 표현을 함께 참조해 답을 생성하는 구조를 취한다. 질문 형태도 단순한 사물 존재 여부부터, 여러 단서를 종합해야 답이 나오는 추론형 질문까지 폭넓게 나뉜다.
쓰임새
VQA는 멀티모달 모델의 이해 수준을 가늠하는 대표적인 벤치마크 형태로 자주 쓰인다. 단순히 이미지 속 사물을 인식하는 것을 넘어, 장면의 맥락을 종합해 질문에 답할 수 있는지를 확인할 수 있기 때문이다. 예를 들어 대시캠 영상을 보고 사고 상황을 판단하도록 시키는 자율주행 분야의 벤치마크도 VQA 형태로 설계된 사례다. 자세한 내용은 자율주행 AI는 사고 상황을 얼마나 이해할까 글에서 다룬다.
이미지 생성 서비스처럼 이미지를 만들어내는 쪽과 달리, VQA는 이미지를 "이해"하는 능력을 검증하는 쪽에 가깝다. 이미지 생성 서비스 간 비교는 AI 이미지 생성 서비스 비교 글을 참고하면 되는데, 이 글에서 다루는 이미지 이해와는 과제 성격이 다르다는 점을 함께 알아두면 좋다.