Karpathy가 '자전거 탄 펠리컨 SVG' 같은 단발 평가를 넘어 세계·게임을 절차적으로 구현하는 장시간 작업을 새 평가로 제시했다. Opus 5에 《반지의 제왕》 첫 문단과 100만 토큰 예산을 주고 Three.js 렌더링을 요청하자 약 2시간 동안 5,500줄 코드를 작성해 폴리곤 자산을 3D 좌표에 배치·애니메이션했고 비용은 약 $10였다. 결과는 어설펐지만, LLM이 비디오·게임을 직접 검증하지 못해 스크린샷에 의존하는 과정에서 오류가 남았다.
평가 방식의 전환이 배경이다. 대부분 모델이 이미 펠리컨 SVG를 곧잘 그리게 되면서 그 벤치마크가 포화됐고, Karpathy는 초기 성능이 낮고 개선 여지가 큰 새 과제로 공간 추론·절차적 애니메이션을 골랐다.
구체적으로 Opus 5에 《반지의 제왕》 첫 문단과 100만 토큰 예산을 주고 Three.js로 렌더링하게 하자, 약 2시간 동안 5,500줄을 써서 폴리곤 자산을 절차적으로 만들고 3D 좌표에 배치한 뒤 이야기 전개에 맞춰 애니메이션했다. 비용은 약 $10. 사람이 시간 대비 가치가 낮아 시도하지 않던 초맞춤 콘텐츠를 주문형으로 뽑는 개념이다. 다만 한계도 뚜렷하다. LLM은 비디오를 효율적으로 인식하거나 만든 게임을 직접 플레이해 검증하지 못해, Opus 5는 여러 시점의 스크린샷을 느리게 확인하다 몇 차례 실수해 완성도가 떨어졌다.
댓글에서는 Anthropic 모델이 three.js 코드 생성에 특별히 훈련된 것으로 보인다는 관찰이 나왔다. 실무자 입장에서는 문서·데모용 3D 애니메이션이나 시각화를 저비용으로 생성하는 도구로 활용할 수 있다는 점이 실질적 함의다.