Pi 为什么能打赢 Claude Code 和 Codex

Databricks 在其数百万行真实代码库上对主流 AI 模型与 Agent 工具进行了量化测评，揭示了不同组合在编程任务中的性价比差异。测试结果显示，GPT-4o、Claude 3.5 Sonnet 与开源的 Llama 3.1 均处于第一梯队，其中 Llama 3.1 在处理复杂任务时表现出极高的成本优势。研究强调 Token 单价并非实际成本的唯一指标，Token 效率同样关键，例如 Claude 3.5 Sonnet 因回复冗长导致实际开销高于 Claude 3 Opus。此外，开源工具 Plandex（Py）在性能与官方工具持平的情况下，通过更精简的上下文管理，将任务成本降低了 1.2 至 2 倍。这种基于真实 PR 的测试规避了公开数据集的刷分问题，为开发者构建高效 Coding Agent 提供了客观的数据参考。