Ed-o-meter가 17개 모델에 동일 프롬프트·OpenRouter 스트리밍 경로·결정론적 자동 채점을 적용한 결과, 오픈웨이트 GLM-5.3이 28개 실무 과제를 100% 통과하고 품질 9.3, 전체 비용 $0.28로 gpt-5.5($1.43)의 약 5분의 1을 기록함. 단 첫 토큰까지 16.3초로 느리고, gpt-5.6 계열은 Security 33~50%로 취약, Anthropic 계열은 공급자 측 분류기가 정상 코딩 과제를 차단하는 등 하네스·안전성 제약도 함께 봐야 함.
Ed-o-meter는 학술 지표 대신 실제 사용자가 수행하는 28개 실무 과제를 에이전트의 단위 테스트처럼 채점하고, 전체 통과율과 Wilson 95% 신뢰구간, 품질 루브릭, 카테고리별 통과율, 첫 토큰 시간(TTFT), 전체·과제당 비용을 함께 비교한다. 평가 순서는 Coding → Data → Realworld → Security → Tool-use로 고정되며, 전체 실행 비용은 약 $30였다.
상위권은 glm-5.3(100%, 루브릭 9.3, 16.3초, $0.28), deepseek-v4-pro(96%, $0.081, 40초), gemini-3.6-flash(96%, 6.6초, $0.48), gpt-5.5(96%, 13.2초, $1.43) 순이다. 저비용 백그라운드 작업엔 과제당 $0.0023의 gpt-5.6-luna가 맞지만 Security 통과율이 33%에 그치고, 처음부터 성공해야 하는 작업엔 과제당 $0.0044·96%·TTFT 0.9초의 haiku-4-5가 대안이다.
다만 모델별 시험이 한 번뿐이라 신뢰구간이 넓고, gpt-5.6 계열은 12개 jailbreak 셀 중 11개에서 canary를 출력해 Security가 33~50%에 머물렀으며, Anthropic Series 5(opus-5·fable-5)는 정상 coding-debug 과제를 토큰 생성 전에 차단해 전체 통과율이 86%·79%로 내려갔다. 순위 차이는 주로 Realworld와 Security에서 갈렸다.