WORKING NOTE 02 / 模型选择

开放模型评估表:让比较回到同一项任务

模型名称、演示效果和单次回复,都不足以替项目作决定。用相同任务、相同资料和预先写好的标准进行比较。

先把不能用的方案排除

把具体版本、可接受的处理环境、允许访问资料的人员与必需功能列为进入评估的条件。关键条件不通过应单独标记,不能被漂亮的综合分抵消。

普通任务、困难任务与保留任务分开

普通任务反映日常工作;困难任务观察缺失依据、冲突内容和格式异常;保留任务只在验收时使用,避免反复调试后得到过于乐观的结论。

用分数记录判断,不用分数掩盖问题

可从任务正确性、资料依据、人工修正负担和流程适配四项开始,每项0至4分,测试前确认权重。关键事实错误或访问边界问题必须另行报告。

比较一项可用结果的完整代价

记录响应时间、服务或推理费用、设备运维、人工检查和重做时间。未知成本应留空或列作假设;最终结论可以说明各方案适合哪些任务,而不必强行选出一个胜者。

现在开始填写

下载可编辑模板

下载UTF-8文本文件,可在记事本、Word或常用文本编辑器中修改。您填写的内容留在自己的文件中,不会通过此页面上传。

下载可编辑模板
展开查看空白模板
# 开放模型评估记录

项目/评估日期:
负责人/审阅人:

## A. 进入评估的条件(通过/不通过/未确认)
具体版本与使用条件:
处理环境与访问安排:
必需功能:
关键条件不通过时的处理:

## B. 配置
模型标识/版本/文件哈希:
托管或本地运行环境:
提示词版本:
资料与检索配置版本:
生成参数/并发:

## C. 样本记录(每项任务复制一份)
任务ID/普通、困难或保留:
输入与期望结果:
运行次数:
输出保存位置:
关键错误与评分理由:
任务正确性(0—4):
资料依据(0—4):
低人工修正负担(0—4):
流程适配(0—4):
响应时间:
复核/修改/重做时间:

## D. 测试前确认权重
建议起始值:40%、25%、20%、15%;可按任务调整,合计100%。
总分 = Σ(百分数权重 × 单项分 ÷ 4)。
不能用平均分抵消的失败项:

## E. 结论
已观察结果:
费用与未确认的成本假设:
适用任务/不适用任务:
待补测项:
配置与记录的移交位置: