跳到正文
原文
Hugging Face 博客(含机构投稿)·· 9 天前AI 评分46

微软 ThinkingBox 基准测试:AI Agent 的任务完成与否由数据库状态判定

The Agent Said It Was Done. The Database Disagreed.

AI 导读

微软联合 Hugging Face 推出 ThinkingBox 基准,通过检查 AI Agent 执行后遗留的终端后端状态和副作用来评分,而非其生成的文本。该基准覆盖 507 个有状态业务工作流,每个任务对多个 LLM 独立运行 20 次,以 pass@1、pass@20 和 observed 20/20 三个指标衡量可靠性与一致性。

来源:Hugging Face 博客(含机构投稿) · huggingface.co