같은 질문을 여러 번 던지면 정확한 답, 중요한 예외를 빠뜨린 답, 근거 없이 환불을 약속하는 답이 뒤섞여 나오는데, AI를 한 번 돌려보고 결론 내리는 방식은 결정론적 소프트웨어가 남긴 습관일 뿐 비결정론적 AI에는 통하지 않는다는 지적이다. NNG는 AI 평가를 정량적 UX 스터디처럼 대표 입력 여러 개, 반복 실행, 신뢰구간으로 수행해야 한다고 제안한다.
수십 년의 결정론적 소프트웨어는 '한 번 되면 늘 된다'는 직관을 심어줬다. 그래서 팀들은 AI 기능도 한 번 실행해 결과를 보고 'AI가 이걸 한다/못 한다'고 결론짓는다. 하지만 언어 모델은 다음 토큰에 확률을 매겨 고르므로, 같은 입력을 반복해도 표현과 품질이 달라진다.