ИИ в тестировании: разбираем падения автотестов, оцениваем LLM и строим обвязку агентов

В августе прошёл Bugs Busters — митап для QA-специалистов от ЮMoney. Спикеры компании рассказали, как применяют ИИ для анализа причин падения e2e-автотестов, как устроен инструмент для подбора оптимальной LLM-модели под конкретную задачу и как строить обвязку вокруг агентов. Пропустили митап? Собрали главное из докладов и приложили записи выступлений.

Разбираем падения автотестов с помощью ИИ

Александр, руководитель группы разработки инструментов тестирования ЮMoney, поделился опытом создания помощника для разбора упавших автотестов. Рабочий рецепт починки автотеста: добавляем стек-трейс, шаги, логи приложений бэкенда и фронтенда, HTML — и правильный промпт.

Проверяем, подходит ли LLM для задачи

Максим, старший программист ЮMoney, рассказал, как определить, какая модель лучше справится с конкретной задачей. В основе подхода — инструмент для оценки моделей с помощью LLM-судьи. Быстро оценивать качество ИИ-моделей можно с помощью готовых open-source-решений со встроенным LLM-судьёй — например, взять Langfuse и дополнить его удобной пользовательский интерфейс-обёрткой для работы с датасетами и отчётами.

Собираем обвязку вокруг LLM-агента

Олег, старший специалист по тестированию производительности ЮMoney, объяснил, зачем нужна обвязка LLM-агента и какие задачи она решает. В докладе разобрали, из каких компонентов состоит harness, как написать собственную обвязку и убедиться в её работоспособности.

Записи докладов

Не удалось попасть на митап? Записи всех выступлений уже доступны во ВКонтакте, на Rutube и YouTube.