AI「你画我猜」Benchmark DrawGuess Benchmark 第一期 · 2026 年 9 月

方法

怎么跑、怎么算分、词库、模型、成本。口径以测试规则 v0.2(草案)为准。

怎么跑

每个词由九个模型各画一张 SVG,图里禁止文字。每张画统一渲染成 PNG,再交给九个模型看图猜词,猜手拿不到代码。所有模型按厂商默认 API 参数调用,不传温度,不传思考开关。

怎么算分

作画得分 = 我的画被其他参评模型猜中的比例
猜图得分 = 我猜中其他模型画作的比例
综合得分 = 两项平均

回答做基础规范化后,与标准词或可接受答案精确匹配才算对,附带解释或多个候选按错计。自猜照跑,不计分,单列为自猜正确率。含文字元素、外链、超过 60 KB、超时或截断的画作判违规,该词的作画得分按全员未猜中计。置信区间按词重抽 2000 次,区间重叠的名次差不代表能力差距。

词库

第一期 个词,五个公开分区,另有 个不公开的锚定词用于跨期对照。全部分区计入综合得分。锚定词的词、画和猜测不进本站。

分区公开词数它是干什么的

模型

各家支持图片输入的最新型号。参考组同样完成画图和猜图,但不排名,也不计入其他模型的得分。

模型展示名厂商渠道模型编号身份

成本

每张画成本为该模型本期画图费用除以张数,按调用记录和公开价目表估算,美元按 折成人民币。成本不进综合得分。

数据来源

第一期 · 2026 年 9 月。全部数字来自本期跑分账本。规则文本、公开数据包与变更记录随后发布。