Статьи по тегу «SWE-bench Verified»
9 июля 2026, 09:06
OpenAI забраковала ИИ-бенчмарк, который сама же продвигала: ~30% задач SWE-Bench Pro сломаны
OpenAI опубликовала аудит SWE-Bench Pro — одного из главных бенчмарков для оценки кодинг-способностей моделей — и пришла к выводу, что около 30% его задач сломаны. Организация официально отозвала свою
23 февраля 2026, 21:24
Модели набирали 80% на бенчмарке OpenAI. Оказалось, они просто запомнили решения
Компания OpenAI перестала применять SWE-bench Verified — один из самых популярных бенчмарков для оценки того, насколько хорошо ИИ справляется с реальными задачами по программированию. Компания сама со