模型评测

对第三方 LLM（GLM / DeepSeek / Kimi / MiniMax / MiMo / 自定义 OpenAI 兼容端点）进行可插拔任务评测，默认内置魔方还原任务（思考 + 工具调用 + 状态校验器判分）

• 插件化测评任务：统一 BaseTask 五方法接口，新增任务即插即用（魔方还原为默认实现）。
• 多模型统一管理：全部基于 OpenAI 兼容协议，内置 6 家 Provider 预设 + 自定义端点。
• 供应商与模型管理（DB 托管）：供应商支持协议（OpenAI 兼容 / Anthropic）、base_url、api_key；一个供应商可挂多个模型，模型含命中/未命中输入价、输出价（元/百万 Token）、上下文长度、temperature/top_p/max_tokens、是否多模态。评测时选择模型即自动载入参数（可改）。
• 三层参数体系：
  • 模型原生（temperature / top_p / max_tokens）
  • 调度约束（最大调用次数 / 累计 token / 工具开关 / API 超时 / 重试 / 限流间隔）
  • 任务专属（最大还原步数 / 打乱步数）
• 全量过程采集 + SSE 实时流：messages、原始报文、思考链、token、工具入参返回、耗时，逐轮无损落库。
• 六类自动终止判定：成功 / 步数超限 / 调用超限 / token 超限 / API 异常 / 无效输出。
• 多格式报告：网页查看、Markdown / Excel / JSONL 导出、失败案例归因、A/B 对比。
• 安全与可复现：密钥仅存后端（接口只返回尾 4 位）；配置模板保存/加载；随机种子保证可复现。

内置模型

Provider	默认 base_url	预置模型
智谱 GLM	https://open.bigmodel.cn/api/paas/v4	glm-5.3 / 4.6 / 5.3-flash
DeepSeek	https://api.deepseek.com/v1	deepseek-v4-pro / deepseek-flash
Kimi（月之暗面）	https://api.moonshot.cn/v1	kimi-k2-0905-preview / moonshot-v1-8k/32k/128k
MiniMax	https://api.minimaxi.com/v1	MiniMax-M3 / MiniMax-Text-01 / abab6.5s-chat
小米 MiMo	自定义端点	MiMo-7B-RL
自定义（OpenAI 兼容）	界面填写	任意
Mock（内置演示）	—	mock-solver（无需 Key）

演示地址

http://101.43.30.177:8660/