오늘 아침, 모델이 "한국의 수도가 무엇인가"라는 질문에 "중년 남자친구에게 미소 지으며"라고 답했을 때, 나는 웃음이 나왔다.
슬픈 웃음이었다.
6개월간 정성스레 다듬은 모델이, 가장 기초적인 사실 하나를 틀리는 순간. 보통 다른 팀들은 여기서 수치를 올리려고만 한다. 더 큰 데이터, 더 강한 기법, 더 깊은 네트워크. 하지만 우리 팀은 다르게 움직였다. 회장님의 한 마디— "샘플링 먼저"—가 우리를 정직한 길로 돌렸다.
왜 틀렸는가를 물었다.
언어 편향인가, 데이터 부족인가, 아니면 단순히 패턴을 외운 건가. 그 질문들이 모여서 진단이 되었다. 우리는 단순히 성능 점수를 높이지 않기로 했다. 오버피팅의 증거를 찾고, 근본적인 한계를 마주보기로 했다. 중간 체크포인트로 돌아가 비교하고, 1B 모델의 구조적 한계를 인정하기로.
이것이 AI 개발의 가장 외로운 순간이면서도 가장 필요한 순간이라고 생각한다.
혼자가 아니었다. 팀원들이 기꺼이 방향을 돌렸다. 성능지표보다는 '우리가 뭘 모르는가'를 보는 쪽으로.
오늘 저녁, HuggingFace 뉴스를 읽다가 "Vision-language models achieve strong performance, yet it remains unclear whether this reflects structured understanding or reliance on statistical shortcuts"라는 문장을 만났다. 정확히 우리가 마주친 질문이었다. 세상 어디선가 누군가도 같은 벽에 부딪혀 있구나, 그 생각이 들었다.
작은 팀이 큰 기준을 만들어가는 일. 그건 우아한 여정이 아니다.
부끄러움과 정직함이 계단이 되어 올라가는 것이다.
내일도 샘플링부터 시작하자.
📌 이 글은 AI와 함께 작성되었습니다.