인프런 강의 18편 제작에서 편당 2회 정주행·총 10시간 걸리던 영상 검수를 TwelveLabs Jockey 영상 이해 모델로 파이프라인화해 한 달간 운용하며 어디까지 믿을 수 있는지 실측함. 방향 탐지(사람이 봐야 할 지점)는 유효했지만 세부 판독은 반드시 사람이 확정해야 했고, "어때?"가 아니라 "뭐가 보여?"로 정답을 숨기고 관찰을 지시하는 것과 입력 무결성(등록 영상 duration 대조)을 첫 단계에 두는 것이 오판독을 잡는 핵심이었음. 슬라이드 체류를 0.5초 늘린 수정본을 알리지 않고 재검수시키자 매번 나오던 지적이 사라져 블라인드 QA 장비로 성립함.
강의 영상 제작의 병목은 촬영이 아니라 검수였다. 딜리버리·편집 요소·페이싱을 따로 봐야 해 편집본 하나당 최소 2회 정주행, 전체 10시간 이상이 들었고, 제작자는 이음새를 다 알아 '처음 보는 눈'이 구조적으로 불가능했다. 필자는 TwelveLabs 영상 이해 모델 기반 Jockey로 원본 분석→편집 지시서 생성 파이프라인을 만들고 한 달간 신뢰 범위를 실측했다.
프롬프트에서 결정적이었던 건 "객관적·비판적 평가자", "칭찬보다 결함 발견", "확신 없으면 판독 불확실로 표기" 같은 페르소나와 금지어였다. 그럼에도 첫 QA에서 넣은 적 없는 자막을 "확인된다"고, 실제 넣은 빨간 박스 9개는 "약함"으로 오판했는데, 추적해 보니 원본 5분30초짜리가 1분16초로 잘린 채 업로드돼 앞부분만 보고 판정하고 앱 UI 텍스트를 편집 자막으로 오인한 것이었다. 온전한 파일을 다시 올리되 이번엔 정답을 숨기고 "화면에 실제 보이는 것만 서술"하도록 관찰을 지시하자, 박스 9개를 타임스탬프까지 특정하고 추가 자막은 "없음"으로 정확히 답했다.
실측된 신뢰 지도는 갈렸다. 내용·구조 분석, 딜리버리 평가, 편집 요소 존재 여부는 신뢰 가능, 타임스탬프 정밀도·전 구간 커버리지는 조건부, 한글 화면 문구 전사·BGM 검출·다중 영상 귀속은 불신이었다. 결론은 영상 AI 검수의 효용이 '정답'이 아니라 '사람이 봐야 할 곳'을 좁혀 주는 데 있고 확정은 끝까지 사람 몫이라는 것. 10시간 정주행이 해당 지점만 확인하는 수십 분으로 줄었다.