Microsoft Research 播客:AI 评测的意外失败能教会我们什么
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中与 Chad Atalla 对谈,讨论评测如何推动当前 AI 系统突破性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中与 Chad Atalla 对谈,讨论评测如何推动当前 AI 系统突破性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
GPT-4 级能力从 2023 年初约 $30/百万 token 降至如今不到 $1,部分供应商已低于 $0.10,推理价格年降幅在 9x 到 900x 之间、中位数约 50x。