阿里新基準測試顯示AI編碼代理仍需人工修正
阿里推出新基準測試「Co-Design Bench」,評估AI編碼代理在真實使用者請求下的表現。測試顯示,即使是最優模型GPT-6 Astra也僅完全解決26.4%的任務,與舊基準測試中99%以上的分數形成對比。該結果凸顯了AI代理在複雜實際場景中仍面臨顯著挑戰。
由 AI 依據 1 家媒體的報導整理
出處
- THE DECODER閱讀原文 ↗
最新
- 研究
騰訊AI首席科學家:AI生物武器風險應靠過濾而非封閉模型
騰訊首席AI科學家Yao Shunyu警告AI soon將能開發生物武器,主張介於開源與封閉模型之間。他表示安全過濾器易被移除,而封閉模型阻斷過度,騰訊新模型Hy4將直接過濾危險知識。
- 研究
研究:ChatGPT 佔全球 AI 聊天流量超 81%
Graphite 的最新研究顯示,ChatGPT 目前佔全球主要 AI 聊天機器人總流量的比例超過 81%,遠超競爭對手。數據表明 ChatGPT 在經歷增長停滯後,近期月訪問量已重新加速增長。
- 研究
- 研究
開發者每週用AI省時比例一年內驟降
InfoQ中文報導指出,每週透過AI工具節省數小時的開發者比例,從一年前的68%降至目前的26%。此數據反映開發人員對AI協作效率的評價變化,可能顯示早期紅利消退或工作流程整合挑戰。
- 研究
PSI 證實 AI 破解量子計算數學難題
AI 物理學新創公司 PSI 宣布,利用 Anthropic 非公開模型證實「阿隆遜-安拜尼預言」。該證明經過 Lean 系統驗證,解決了 2008 年以來未解的量子計算問題。
全部新聞 → · 版權屬原作者