SWE-bench Verified由于日益受到污染以及错误衡量前沿编程进展的影响,其可靠性正逐渐降低。我们的分析揭示了其中存在设计缺陷和训练数据泄漏的问题。因此,我们推荐使用SWE-bench Pro。
🔗 来源:Why we no longer evaluate SWE-bench Verified (AI 严选)
一个更好的浏览方法。了解更多。
主屏幕上的全屏APP,带有推送通知、徽章等。
SWE-bench Verified由于日益受到污染以及错误衡量前沿编程进展的影响,其可靠性正逐渐降低。我们的分析揭示了其中存在设计缺陷和训练数据泄漏的问题。因此,我们推荐使用SWE-bench Pro。
推荐意见