# AWS научил агентов не «улучшаться на глазок», а проверяться по фиксированным тестам - Site: VeraPoint News - Section: Новости - Date: 2026-05-31 - Canonical: https://verapointmedia.com/news/build-a-test-suite-that-grows-with-your-agent-with-dataset-management-in-amazon-bedrock-agentcore/ - Markdown: https://verapointmedia.com/news/build-a-test-suite-that-grows-with-your-agent-with-dataset-management-in-amazon-bedrock-agentcore.md - Summary: В Bedrock AgentCore появились версионированные датасеты для тестов агентов: это помогает ловить регрессии, но не отменяет проблем с LLM-судьями. - Tags: #aws #агенты #bedrock #mlops #evaluation #cicd - Image: https://verapointmedia.com/static/content-assets/news/build-a-test-suite-that-grows-with-your-agent-with-dataset-management-in-amazon-bedrock-agentcore/cover.webp ## Sources - https://aws.amazon.com/blogs/machine-learning/build-a-test-suite-that-grows-with-your-agent-with-dataset-management-in-amazon-bedrock-agentcore/ - https://news.google.com/rss/articles/CBMizAFBVV95cUxQNXpiamNUUVVTVEI1b0loc25ZV21zV1M0dkpkSmlPLVdJTnhrMUJIWFQ5M2lPbDVscFdPZzExblUzNWI3blloTEhzdnJMMjY1R056allqYVJ0OWZqbzRXREtKaVJON0ZFU1RiTEdFTjB6OVN5Tlp2bEd0Z3gtVEZ4NnQtQ2dPRTN5eEQ3bVhwZFVUYU5QZlZGNldZbmEwOWVuOGZjSlowcENNMy1yVWxZZTNqN0tob1hMSXNEaDByX0liTlYzZXgzMHhpNjg?oc=5 - https://news.google.com/rss/articles/CBMiswFBVV95cUxPNEtPbm90VWgtU3k2OUFFYjRlTTExbWFCdDUxZ20yclRBMzhJc09ZRnlhWFhjNGJNWFJ1aDRxSzVkdXNSeXlpR2xSamExR1R5ZUJweVcyM2JTRklRNVMxY2hKaXNxTUJtWk9HcHV6OHNhT1VzMWpZd3F5R2EyOGVxbDZydHkzSVJEMkdLdG1EaFJfX2tHRUpUakctUGRicUVMSzUwNkNQdmtQYk4tcFlmdjVpOA?oc=5 - https://arxiv.org/abs/2405.19595v1 --- ## Когда агент вроде бы стал лучше — а вы просто сменили вопросы Для команды это очень знакомая ловушка: агент вроде как «улучшили», score подрос, все выдохнули… а потом оказывается, что тестовые сценарии между прогонами были разными. И вот уже не понятно, это прогресс или просто удачнее подобранный набор вопросов. Неловко, честно говоря. AWS сейчас как раз пытается закрыть эту тихую дыру в Bedrock AgentCore — это платформа Amazon для запуска и проверки ИИ-агентов, то есть систем, которые не просто отвечают текстом, а ещё ходят в инструменты, делают шаги и автоматизируют задачи. В новом dataset management можно хранить тест-кейсы как датасет, версионировать их и фиксировать как базовый ориентир для оценок. ## Что именно добавили и почему это не просто «ещё одна галочка» В AWS предлагают собирать тесты не в виде случайной папки с заметками, а как нормальный набор сценариев: input, expected output, assertions и tool sequence. Если по-человечески: - `input` — что вы задали агенту; - `expected output` — что он должен выдать; - `assertions` — условия, которые обязаны выполниться; - `tool sequence` — порядок вызова внешних инструментов, если агент ими пользуется. И дальше начинается самое важное: датасет можно держать в `draft`, а потом публиковать как immutable numbered version — то есть как неизменяемую версию с номером. Подождите, а это вообще нормально? Да, для тестов — очень даже. Идея простая: если база для сравнения плывёт, то и оценка плывёт вместе с ней. AWS показывает это на примере финансового market-intelligence агента: сначала они ловят сбой из production traces, потом превращают его в тестовый кейс, собирают версионированный датасет, прогоняют eval, чинят агента и проверяют, стало ли реально лучше на тех же самых входах. ## Где тут реальная польза: меньше ложных побед и ложных истерик Вот это, пожалуй, и есть главный практический смысл новости. Версионированные датасеты помогают отделить реальное улучшение от случайной вариабельности. Агенты ведь недетерминированны — то есть один и тот же запрос может дать разный ответ в разных запусках. У LLM это, увы, не баг в привычном смысле, а свойство. Без стабильного baseline команда легко попадает в странную ситуацию: вчера score был выше, сегодня ниже, завтра снова выше — и все заняты не продуктом, а гаданием на метриках. Для разработчиков агентов и MLOps-инженеров это особенно больно, потому что можно неделями тюнить систему и не понимать, стало ли лучше хоть что-то. А тут появляется хоть какая-то опора: одинаковые входы, фиксированные версии, понятный сравнительный прогон. Для CI/CD это тоже важно — pipeline перестаёт проверять «что-то похожее на тесты» и начинает проверять конкретные случаи. ## Но вот где маркетинг чуть опережает реальность AWS, конечно, подаёт это почти как решение проблемы недетерминированности. И тут я бы слегка притормозила. Версионирование фиксирует входы и делает baseline стабильным — это правда. Но оно не делает магически качественным сам ground truth. Ground truth — это эталон, то есть «правильный ответ» или набор условий, с которыми сравнивают результат. И если этот эталон составлен криво, стареет вместе с бизнес-логикой или просто плохо покрывает кейсы, то версия будет стабильной… но стабильно бесполезной. Ну и судья-LLM тоже остаётся судья-LLM: он может довольно уверенно оценить тон ответа, но не всегда надёжно проверит, например, точность факта, порядок инструментов или утечку PII — персональных данных. То есть AWS честно закрывает один слой проблемы, но не всю проблему целиком. И это, кажется, важное различие, которое в PR-формулировках легко потерять. ## Почему это важно именно сейчас Агенты быстро становятся стандартным способом автоматизации: не только чат, а целые цепочки действий. А когда автоматизация начинает трогать деньги, доступы, клиентские данные или внутренние процессы, внезапно хочется не «красивого демо», а воспроизводимой проверки. Очень человеческое желание, кстати. Тихий сдвиг тут в том, что оценка агентов понемногу переходит из режима «посмотрели руками и вроде норм» в режим инженерной дисциплины. Не самая глянцевая тема, зато именно она решает, можно ли вообще доверять вашему агенту в проде. Особенно если речь о inner loop — быстром цикле разработки, — и outer loop, то есть CI/CD, где изменения должны пройти жёсткий gate перед релизом. И вот это уже не про красоту интерфейса AWS. Это про то, что команды либо строят стабильный способ проверки, либо потом месяцами спорят, почему агент «стал лучше» только в презентации. ## Что бы я вынесла из этого для себя Если у вас агенты уже есть или вы только собираетесь их внедрять, полезная мысль очень простая: не держите тесты в виде случайных примеров, которые каждый раз чуть-чуть меняются. Это почти гарантированный способ вырастить ложную уверенность. Лучше собирать проблемные кейсы в отдельный датасет, версионировать его и использовать как неизменяемый baseline для сравнений. AWS, по сути, предлагает именно такую дисциплину. Но держать в голове нужно и обратную сторону: стабильный датасет — это ещё не хороший датасет, а LLM-оценка — это ещё не истина в последней инстанции. Так что новость, если совсем коротко, не про «агенты стали надёжными». Она про то, что у разработчиков наконец появляется более взрослый способ заметить, когда они себе это только внушили. И, честно, это уже немало. ## Материалы - [AWS Machine Learning Blog] Build a test suite that grows with your agent with dataset management in Amazon Bedrock AgentCore | Amazon Web Services: https://aws.amazon.com/blogs/machine-learning/build-a-test-suite-that-grows-with-your-agent-with-dataset-management-in-amazon-bedrock-agentcore/ - [news.google.com] supporting context: https://news.google.com/rss/articles/CBMizAFBVV95cUxQNXpiamNUUVVTVEI1b0loc25ZV21zV1M0dkpkSmlPLVdJTnhrMUJIWFQ5M2lPbDVscFdPZzExblUzNWI3blloTEhzdnJMMjY1R056allqYVJ0OWZqbzRXREtKaVJON0ZFU1RiTEdFTjB6OVN5Tlp2bEd0Z3gtVEZ4NnQtQ2dPRTN5eEQ3bVhwZFVUYU5QZlZGNldZbmEwOWVuOGZjSlowcENNMy1yVWxZZTNqN0tob1hMSXNEaDByX0liTlYzZXgzMHhpNjg?oc=5 - [news.google.com] supporting context: https://news.google.com/rss/articles/CBMiswFBVV95cUxPNEtPbm90VWgtU3k2OUFFYjRlTTExbWFCdDUxZ20yclRBMzhJc09ZRnlhWFhjNGJNWFJ1aDRxSzVkdXNSeXlpR2xSamExR1R5ZUJweVcyM2JTRklRNVMxY2hKaXNxTUJtWk9HcHV6OHNhT1VzMWpZd3F5R2EyOGVxbDZydHkzSVJEMkdLdG1EaFJfX2tHRUpUakctUGRicUVMSzUwNkNQdmtQYk4tcFlmdjVpOA?oc=5 - [arxiv.org] supporting context: https://arxiv.org/abs/2405.19595v1