跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

4 条精选近 30 天 3 条共收录 12 条

更新

评测基准的精选

今天10月15日周四第 1–4 条
  1. Google Research71

    Google 发布地理空间推理智能体技术报告,并开放 Earth AI 早期访问

    Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上对比四种智能体配置,结果显示接入 Earth AI 专用技能可显著提升定量空间任务表现,而开放式问题还需前置规划。

    推荐理由:Google 公开了地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等机构的实测案例,可了解专用工具与前置规划对空间推理的提升。

10月14日周三
10月4日周日
  1. Hugging Face Blog71

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,按终端后端状态和副作用判分,而非看它生成的回答。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非回答文本判分,并给出 20 次重复下的稳定性与成本对比。

8月20日周四
  1. Mistral AI71

    Mistral 发布 Agentic Search,用多步检索循环提升复杂文档搜索准确率

    Mistral 发布 Agentic Search,作为检索层让模型在复杂文档中查找、阅读并核实信息,通过 Mistral Search Toolkit 和 Studio、Vibe 中的 Libraries 提供。

    推荐理由:原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断传统 RAG 的改进空间。