JetBrains протестировали скилл Caveman: обещанные 65% экономии токенов превратились в 8.5%

Caveman — скилл для агентов вроде Claude Code, который переводит текстовые ответы в рубленый «пещерный» стиль без служебных слов. Исходник и вызовы инструментов не трогает. Целых 85 тысяч звёзд на GitHub.

Тест прогнали на бенчмарке SkillsBench, 86 из 87 задач, Claude Sonnet 5 с низким reasoning effort. Сравнивали одни и те же задачи без скилла и с принудительно включённым. Результат по 82 парным задачам:

1. Экономия output-токенов: 8.5% (592k против 542k), далеко от обещанных 65%. Разработчики считали экономию на чатовой прозе, а в агентной работе основную массу токенов занимают код, диффы и тексты ошибок, которые скилл не сжимает.

2. Качество не пострадало: средний скор 0.326 против 0.311, статистически неразличимо (p = 0.82).

3. Экономия $ отсутствует. По логике 8.5% экономии токенов должны были дать скидку приблизительно 10% по деньгам. Но один вырожденный случай всё нивелировал: одна задача перешла порог в 200k токенов контекста и попала под дорогой тариф api, её цена выросла с $0.33 до $8.29. В связи с этого прогон со скиллом вышел на 11.6% дороже ($40.60 против $36.39).

Ресурс: https://blog.jetbrains.com/ai/2026/07/speak-to-ai-agents-like-cavemen-tosave-tokens/

Русскоязычное сообщество про AI в разработке

Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI-агентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!