시각언어모델은 부위명이 주어진 조건일 때 같은 픽셀도 더 정확히 대응시킨다. 이미지 쌍의 대응점을 겨루는 벤치마크 SPair-71k에서 Qwen3-VL-8B는 이름 있는 부위의 대응점을 65.3%, 이름 없는 부위는 47.9% 맞혔다. 시각 난도는 같고 부위명만 달랐을 뿐인데, 정답률 차이는 왜 이처럼 클까.
통제된 합성 실험에서도 Qwen3-VL-2B의 얼굴 직접 매칭은 유명인 77.1%, 낯선 얼굴 41.1%였고 두 조건의 이미지는 같은 생성 절차를 거쳤다. 얼굴뿐 아니라 별과 삼각형 같은 도형에서도 같은 패턴이 나타났다. 사고 사슬(단계별로 풀이 과정을 쓰게 하는 프롬프트 방식)을 쓰면 97.3%였지만 이름 없는 낙서는 직접 응답에서 29.0%였으며, Qwen, Gemma, InternVL 계열 모두 같은 경향을 보였다.
정보는 어디서 답을 잃는가
표현 자체에는 낙서를 구별하는 정보가 남아 있다. 히든 상태의 유사도로 답을 고르는 표현 프로빙에서 Qwen3-VL-2B는 74.2%를 기록해 출력보다 45.2% 높았고, Gemma 3-4B도 사고 사슬 32.3%와 프로빙 91.7% 사이에 59.4% 차이가 났다. 모델이 본 정보와 출력한 답 사이에 손실이 생기는 것이다.
그 손실이 층 어디에서 갈리는지, 시각 토큰을 층마다 어휘로 해독하는 Logit Lens로 보면 별이나 유명인의 표현이 약 34번째 층에서 정확한 이름으로 바뀌고 확률도 크게 올랐다. 반면 이름 없는 도형은 마지막 층까지 구별되는 어휘로 해독되지 않았다. 사고 사슬 또한 Qwen3-VL-2B의 이름 있는 키포인트에는 20.8%를 더했지만 이름 없는 쪽에는 9.8%만 더했고, 8B 모델의 이름 없는 도형에서는 정확도를 19.4% 낮췄다.
시각 점수는 얼마나 부풀려졌나
평가 문항 중에는 그림 없이 텍스트만으로 풀리는 문항이 섞여 있었다. 시각 문제 평가 벤치마크 MMMU를 보완한 MMMU-Pro 연구진은 원본에서 텍스트만으로 답할 수 있는 문항을 걸러내고 선택지를 4개에서 최대 10개로 늘렸다. 이 조치 뒤 모델 점수는 원본보다 16.8~26.9% 낮아졌고, 텍스트만으로 맞힌 문항이 그만큼 포함돼 있었다는 뜻이다. 그렇다면 실제 시각 대응 능력은 얼마나 과대평가돼 있던 것일까.
텍스트 지름길이 막힌 뒤에는 픽셀 단위 대응이 남는다. 차트에서는 점이 많아질수록 좌표 추출부터 정확도가 낮아졌고, LLaVA-OneVision은 점 두 개에서 60%였던 좌표 생성 정확도가 복잡한 차트에서 20%까지 낮아졌다. 점이 늘수록 축과 점의 위치를 직접 대응시켜야 했고, 대상 이름만으로는 그 대응을 대신하지 못했다. 무작위로 회전하거나 뒤집은 CT 슬라이스에서도 Llama 3.2, Pixtral, Janus-Pro 등은 표식 없이 상대 위치를 묻자 약 50%에 머물렀다. 문자나 색상 표식을 넣으면 모델에 따라 정확도가 올랐고, 해부학 명칭을 뺀 표식 질문에서 GPT-4o와 Pixtral의 개선 폭은 더 컸다.
낙서에 이름을 붙이자 정답이 됐다
이름 없는 낙서에 임의의 이름을 가르치자 Qwen3-VL-2B의 정확도는 29.0%에서 무작위 문자열 62.8%, 사람 이름 70.2%, 일상 사물 이름 86.0%로 올랐다. 기존 언어 지식과 잘 연결되는 이름일수록 정확도가 더 높이 올랐다. 이름 학습은 픽셀을 직접 비교하는 대응 학습과는 학습 방식이 달랐다. 중간 복잡도의 낙서를 이용한 대응 학습은 도형의 명칭을 주지 않았다.
이 대응 학습에서 연구진은 30개의 기준점으로 만든 낙서 1,000쌍을 학습시켰으며, Qwen3-VL-2B는 같은 조건의 낙서에서 99.3%, 처음 보는 3×3 미로에서 99.0%를 기록했다. 이름 없이 픽셀만 맞춘 학습인데도 정확도가 무려 99%대에 이른 것이다! 이 학습 뒤 얼굴 대응은 Qwen 계열 19.3%, Gemma 계열 6.4% 올랐고 이름 없는 부위 대응도 각각 5.7%, 2.1% 개선됐다. 이름을 가르친 모델은 표현 사이의 언어적 구별이 커졌지만, 대응 학습 모델은 그 차이가 작아도 더 높은 정확도를 냈다.
이름에 기대는 모델은 현장에서 흔들린다
이름에 기대는 방식은 시각 인코더가 픽셀을 보지 못해서 생긴 한계가 아니다. 이미지와 텍스트를 잇는 사전학습에서는 이름으로 옮기기 쉬운 특징일수록 반복해서 학습되고, 이름 없는 세부를 직접 대조하는 절차는 학습 빈도가 낮다. 낙서 대응 학습만으로 얼굴과 사물까지 좋아졌다는 사례는 같은 구조 안에서도 다른 해결 경로를 배울 수 있다는 뜻이다.
다만 직접 비교에는 비용이 들고 대가가 따른다. 이름 하나로 이미 학습된 언어 지식을 활용하는 제로샷 방식은 데이터가 적을 때 효율적이지만, 대응 학습은 그 대신 위치, 윤곽, 질감의 차이를 그대로 유지한다. 이런 데이터는 웹의 이미지 설명처럼 대량으로 모으기 어려워 절차적으로 생성하거나 따로 표시하는 절차를 거친다. 새 부품, 처음 보는 UI, 희귀 의료 영상처럼 안정된 어휘가 없는 영역일수록 이 추가 작업의 비중이 커진다.
평가에서도 이름 있는 대상과 없는 대상을 나눠 같은 과제를 두 번 측정하면 두 결과는 다르게 나온다. 하나의 평균 점수만 내면 어휘 지식으로 맞힌 항목과 실제 시각 대응으로 맞힌 항목이 합쳐져, 배치 환경의 실패율을 예측하기 어렵다. 기존 벤치마크 점수가 높은 모델도 신규 화면의 요소나 표식 없는 병변에서는 별도 검증 없이 성능을 단정하기 어렵다. 직접 응답만으로는 안 보이는 부분을 히든 표현에서 읽어낸 성능이 채운다.
그렇다면 확대와 크롭 도구를 붙이면 정확도가 저절로 오를까. 그렇지 않다. 시각 도구 사용 강화학습에서 도구가 성능 향상에 기여한 비율은 Qwen2.5-VL 0.30, Qwen3-VL 0.22였고 70% 이상은 모델 자체 능력의 개선에서 나왔다. 어디를 확대할지 고르는 것, 확대된 두 부분에서 같은 점을 찾는 것, 그 판단을 언어로 출력하는 것은 각각 다른 훈련 신호를 요구한다. 시각언어모델의 활용 범위는 아는 단어의 수만이 아니라 단어 없이도 무엇을 비교하도록 학습했는지에 달려 있다.