Фаза 3 · Production Agents
Здесь ваш CI/CD-бэкграунд даёт огромное преимущество. Evals как тесты, observability как метрики, cost как обычная статья бюджета.
Курсы
Четыре паттерна: Reflection, Tool Use, Planning, Multi-agent collaboration.
Официальный бесплатный курс с сертификатом: от базового tool use до агентных систем, MCP и Agent SDK. Каталог всех курсов Academy — anthropic.com/learn.
Evals — это тесты для LLM
Официальный гайд по построению eval-метрик.
Практичный инструмент для прогона evals и red-teaming в CI. YAML-конфиг, легко встраивается в pipeline. С марта 2026 команда в OpenAI; проект остаётся open source под прежней лицензией.
Разобрать связку dataset + testing criteria + graders. Это полезнее, чем просто прогонять ручные golden prompts.
Свежий пост: типы evals, подходы к грейдингу и дорожная карта «с нуля до продакшена» именно для агентов, а не просто промптов. Апгрейд всего eval-блока фазы на агентный уровень.
Практика — построить агента без фреймворка
Построить агента на голом Anthropic SDK или OpenAI SDK
Tool use loop, structured outputs через Pydantic, retries, fallbacks, логирование. Без LangGraph и CrewAI. Это даст понимание, что фреймворки потом просто абстрагируют.
Pydantic-обёртка над LLM API. Превращает structured outputs из боли в удовольствие.
Написать первый eval suite для своего агента
10–30 кейсов. Прогон через CI на каждый PR. Метрики: success rate, latency, cost.
Подключить traces и разобрать один плохой run
Сохранить вход, tool calls, intermediate outputs, latency, cost и причину ошибки. Итог — короткий incident note.
Сделать первый eval report как артефакт
Baseline model, candidate model/prompt, pass rate, false positives, false negatives, cost delta и решение: ship / hold / rollback.
Добавить cost/token logger к своему агенту
Обернуть каждый вызов API в декоратор, логирующий model, input_tokens, output_tokens, latency_ms и стоимость. Вывести сводку за сессию в таблицу.
Написать LLM-as-judge grader и сравнить с rule-based
Создать два грейдера для одного набора eval-кейсов: один на регулярках/exact match, второй — LLM-модель как судья. Сравнить agreement rate и стоимость.
Claude Agent SDK и память агента
Почему Anthropic превратила цикл Claude Code в общий Agent SDK. Принцип «дать агенту компьютер»: файлы, терминал, инструменты. Естественный следующий шаг после агента на голом SDK из p3-8.
Production-harness, лежащий под Claude Code: сессии, permissions, hooks, MCP — программируется из Python/TS.
Файловая память между сессиями: агент записывает то, что узнал, и читает по требованию, а не грузит всё в контекст заранее. Вместе с context editing в бенчмарках Anthropic — до ~84% экономии токенов на длинных задачах.
Автоматическая чистка устаревших tool results и сжатие контекста по мере роста. Вторая половина связки с memory tool из p3-19.
Серверные агенты Anthropic: долгие сессии, sandbox, память и мультиагентная оркестрация на их стороне — цикл Claude Code как managed-сервис. Читать как карту того, что берут на себя за вас, чтобы понимать, что вы строите сами в p3-8.
Как проектировать и оценивать контракты инструментов — вплоть до того, что агенты улучшают собственные tools. Пара к практике tool-цикла из p3-8.
0 /19 материалов завершено
Здесь ваш CI/CD-бэкграунд даёт огромное преимущество: evals работают как автотесты, observability — как метрики, а cost становится обычной статьёй бюджета. Цель фазы — собрать агента без фреймворка и обвесить его evals, трейсами и учётом стоимости.
Мои заметки
Не сохраненоСамопроверка
Вопрос 1 из 5
Зачем нужны evals для LLM-приложений?
Правильно: B. Evals в production — это unit/integration тесты для LLM-приложений. Изменили промпт? Прогоните evals. Поменялась модель? Прогоните evals. Без них вы не заметите, как новая версия Claude или промпта стала хуже отрабатывать ваш конкретный кейс.
Вопрос 2 из 5
Что НЕ является типичной частью observability для LLM-приложения?
Правильно: D. Веса и градиенты — это про обучение моделей, а не про наблюдаемость их использования. В production observability вы смотрите на traces (Langfuse, LangSmith), стоимость, латентность, success rate. То, что важно для бизнес-метрик и SLA.
Вопрос 3 из 5
Какая библиотека помогает получать structured outputs через Pydantic-схемы?
Правильно: B. Instructor — небольшая обёртка над OpenAI/Anthropic SDK. Описываете Pydantic-модель — получаете типизированный ответ от LLM с автоматическими retries при невалидном выводе. Для вас как для Python-разработчика — must-have инструмент.
Вопрос 4 из 5
Какой принцип лежит в основе Claude Agent SDK?
Правильно: B. Anthropic превратила внутренний цикл Claude Code в общий SDK: агент работает как человек за компьютером — файлы, bash, скрипты. Это противоположность тяжёлым фреймворкам-абстракциям.
Вопрос 5 из 5
Зачем агенту memory tool и context editing на длинных задачах?
Правильно: C. Контекстное окно — исчерпаемый ресурс. В бенчмарках Anthropic связка memory + context editing дала ~84% экономии токенов на 100-ходовой задаче. Память — это файлы, которыми управляет ваш код, а не «магия» модели.
0 / 5