方法
怎么跑、怎么算分、词库、模型、成本。口径以测试规则 v0.2(草案)为准。
怎么跑
每个词由九个模型各画一张 SVG,图里禁止文字。每张画统一渲染成 PNG,再交给九个模型看图猜词,猜手拿不到代码。所有模型按厂商默认 API 参数调用,不传温度,不传思考开关。
怎么算分
作画得分 = 我的画被其他参评模型猜中的比例
猜图得分 = 我猜中其他模型画作的比例
综合得分 = 两项平均
猜图得分 = 我猜中其他模型画作的比例
综合得分 = 两项平均
回答做基础规范化后,与标准词或可接受答案精确匹配才算对,附带解释或多个候选按错计。自猜照跑,不计分,单列为自猜正确率。含文字元素、外链、超过 60 KB、超时或截断的画作判违规,该词的作画得分按全员未猜中计。置信区间按词重抽 2000 次,区间重叠的名次差不代表能力差距。
词库
第一期 个词,五个公开分区,另有 个不公开的锚定词用于跨期对照。全部分区计入综合得分。锚定词的词、画和猜测不进本站。
| 分区 | 公开 | 词数 | 它是干什么的 |
|---|
模型
各家支持图片输入的最新型号。参考组同样完成画图和猜图,但不排名,也不计入其他模型的得分。
| 模型 | 展示名 | 厂商 | 渠道 | 模型编号 | 身份 |
|---|
成本
每张画成本为该模型本期画图费用除以张数,按调用记录和公开价目表估算,美元按 折成人民币。成本不进综合得分。
数据来源
第一期 · 2026 年 9 月。全部数字来自本期跑分账本。规则文本、公开数据包与变更记录随后发布。