OpenAI отзывает рекомендацию использовать SWE-Bench Pro как бенчмарк

источник: @openai на X ↗·9 июля, 07:13 мск
машинная выжимка · сверена с источником

OpenAI проверила SWE-Bench Pro и обнаружила, что 30% задач в нём сломаны. Бенчмарк больше не отражает реальный уровень frontier-моделей, поэтому ориентироваться на него при выборе инструментов не стоит.