NN/g는 팀이 자사 제품을 직접 써보는 '도그푸딩'이 버그와 깨진 플로를 잡는 데는 유용하지만 사용자 리서치를 대체할 수는 없다고 지적했다. AI 제품을 빠르게 설계·출시하려는 팀들 사이에서 도그푸딩이 리서치 대체재처럼 쓰이는 경향이 커졌는데, 팀은 제품을 너무 잘 알아 실제 사용자를 대표하지 못한다는 것이다. 도그푸딩·QA 테스트·사용자 테스트는 목적이 서로 다르며 어느 하나가 나머지를 대신할 수 없다고 정리했다.
도그푸딩은 팀이 개발 중인 제품을 내부에서 실제로 써보며 개선하는 방식이다. 다양한 환경에서 대규모로 스트레스 테스트를 하고, 제품이 망가지면 사용자뿐 아니라 만든 사람도 영향을 받게 해 조직 전체가 제품을 공동으로 책임지도록 만든다는 데 최선의 가치가 있다. 버그·크래시·깨진 플로를 사용자보다 먼저 잡는 것이 목표다.
문제는 그 유용성에 천장이 있고, 대부분의 팀이 생각하는 것보다 훨씬 낮다는 점이다. 최근 AI 제품을 빠르게 설계·출시하려는 팀들이 도그푸딩을 리서치의 대체 전략으로 삼는 경우가 늘었지만, 만든 사람은 제품을 너무 잘 알기 때문에 진짜 사용자를 대표할 수 없다. 글은 도그푸딩이 충성의 수행(‘쿨에이드 마시기’)과 혼동되는 사례도 경계하며, 성능 점검용 진짜 사용과 보여주기식 사용을 구분한다.
실무 함의는 명확하다. AI 기능을 검증할 때 도그푸딩과 QA 테스트, 사용자 테스트를 목적별로 분리하고, 내부에서 잘 돌아간다는 인상만으로 사용자 리서치를 건너뛰지 말라는 것이다.