DeepSeek V4 Flash 測試 8 套 Harness 成功率與成本對比

AI Agent 基礎設施公司 Composio 將 DeepSeek V4 Flash 接入 8 套 Harness，使用同一批 30 個 Agent 任務進行測試，任務涉及 Gmail、GitHub、Slack、Calendar、Notion 等應用。8 套 Harness 的通過情況為：Pi Agent 20/30，Oh My Pi 17/30，Claude Code 16/30，Codex 16/30，Deep Agents 16/30，Hermes Agent 15/30，Prime Agent 15/24，OpenCode 14/30。更換 Harness 後，DeepSeek V4 Flash 的通過任務數從 14 個提升至 20 個。成本方面，Pi Agent 每個成功任務約 0.028 美元，Claude Code 為 0.195 美元，差距接近 7 倍。速度方面，Claude Code 中位耗時 122.7 秒，Oh My Pi 最慢為 272.4 秒。Pi 的測試配置與統一條件有差異，使用 high 而非 max 推理強度，且 30 個任務中有 24 個使用 DeepSeek 官方 API。Composio 之前用 Kimi K3 進行過另一輪 Harness 橫評，Oh My Pi 以 22/25 排第一，原版 Pi Agent 為 18/25，換成 DeepSeek V4 Flash 後，原版 Pi 跑到了第一。

本內容僅供參考，不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊，不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性，存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。