𝕯𝖆𝖗𝖐🥰𝕬𝖓𝖌𝖊𝖑
МОДЕРАТОР
- Регистрация
- 7 Апр 2025
- Сообщения
- 4,334
- Реакции
- 21
Автор: Jeremy Hintz
Название: Оптимизация расходов на ИИ
Первый урок онлайн.
AI Cost Optimization — практический курс от ByteByteGo, посвящённый снижению расходов на использование больших языковых моделей (LLM), оптимизации ИИ-инфраструктуры и повышению экономической эффективности AI-приложений и агентных систем.
По мере внедрения искусственного интеллекта в реальные продукты компании сталкиваются с растущими затратами на API-запросы, обработку токенов, хранение контекста и выполнение многошаговых агентных процессов. Даже относительно простые пользовательские запросы могут приводить к тысячам оплачиваемых токенов, а неэффективная архитектура способна многократно увеличивать стоимость эксплуатации системы.
Этот курс научит вас понимать, откуда возникают расходы на ИИ, выявлять основные источники перерасхода и применять инженерные методы оптимизации без существенной потери качества и производительности.
Под руководством Джереми Хинца (Jeremy Hintz), инженерного руководителя Meta, вы изучите экономику LLM-инференса, системы мониторинга затрат, механизмы кеширования, сжатие контекста, дистилляцию моделей, интеллектуальную маршрутизацию запросов и оптимизацию многоагентных рабочих процессов.
Обучение рассчитано на четыре недели и сочетает теоретические занятия с практическими заданиями, в которых вы будете создавать собственные инструменты для контроля и сокращения расходов на ИИ.
Чему вы научитесь
Понимать структуру расходов на ИИ
• Разбираться в стоимости входных, выходных, кешированных и reasoning-токенов.
• Понимать, почему короткий запрос может превращаться в тысячи оплачиваемых токенов.
• Рассчитывать стоимость отдельных запросов, диалогов и сложных агентных задач.
• Анализировать экономику LLM-инференса и сравнивать различные модели оплаты.
Отслеживать и анализировать затраты
• Создавать единый LLM Gateway для централизованного управления запросами к ИИ.
• Отслеживать расходы по пользователям, командам, функциям и отдельным задачам.
• Использовать инструменты наблюдаемости для анализа стоимости, задержек и использования токенов.
• Находить наиболее затратные компоненты системы и определять приоритеты оптимизации.
Сокращать расходы с помощью кеширования
• Реализовывать точное и семантическое кеширование ответов.
• Использовать кеширование промптов на стороне провайдера.
• Правильно организовывать структуру запросов для повышения эффективности кеша.
• Выявлять ошибки, которые приводят к ненужным повторным обращениям к моделям.
Оптимизировать контекст ИИ-агентов
• Сокращать объём контекста без потери важной информации.
• Удалять устаревшие результаты инструментов и неиспользуемые данные.
• Применять стратегии сжатия длинных диалогов и истории выполнения задач.
• Выносить долговременную память агентов за пределы контекстного окна.
• Оценивать влияние сжатия контекста на стоимость и качество ответов.
Использовать небольшие модели для снижения затрат
• Определять задачи, которые можно передать менее дорогим моделям.
• Применять дистилляцию промптов, контекста и моделей.
• Заменять повторяющиеся сложные запросы более лёгкими специализированными решениями.
• Проверять качество небольших моделей и отслеживать снижение их актуальности после изменений в системе.
Создавать интеллектуальную маршрутизацию запросов
• Направлять простые задачи к экономичным моделям, а сложные — к более мощным.
• Разрабатывать собственные маршрутизаторы моделей.
• Использовать каскады моделей для оптимизации соотношения стоимости и качества.
• Создавать системы оценки маршрутизации и проверять их эффективность на реальных сценариях.
Оптимизировать многоагентные системы
• Оценивать стоимость многошаговых и многоагентных рабочих процессов.
• Обнаруживать бесконечные циклы, повторные попытки и неэффективную передачу задач между агентами.
• Управлять состоянием и контекстом агентов.
• Оптимизировать планирование и выполнение сложных задач.
• Перерабатывать неэффективные агентные системы для сокращения расходов.
Программа курса
Неделя 1. Экономика ИИ и мониторинг затрат
Первая неделя посвящена фундаментальным принципам формирования стоимости ИИ-систем и инструментам, позволяющим анализировать расходы.
Основные темы:
• Структура стоимости LLM: входные, выходные, кешированные, пакетные и reasoning-токены.
• Дополнительные расходы на инструменты, мультимодальные данные и эмбеддинги.
• Модели оплаты: Pay-as-you-go, выделенные вычислительные мощности и собственная инфраструктура.
• Экономика инференса и показатели задержки.
• Особенности расчёта стоимости агентных систем.
• Влияние RAG, схем инструментов и многоагентных процессов на расходы.
• Трассировка запросов и OpenTelemetry.
• Мониторинг использования токенов, производительности и затрат.
• Анализ расходов на уровне пользователей, команд и функций.
• LLM Gateway и инструменты LiteLLM, Portkey, Kong, Cloudflare и OpenRouter.
• Платформы наблюдаемости: Langfuse, LangSmith, Helicone, Arize Phoenix, W&B Weave и Braintrust.
• Определение наиболее эффективных направлений оптимизации.
Практическое задание: создание LLM Gateway для многопользовательской системы, подключение мониторинга через Langfuse, анализ затрат и внедрение первой оптимизации с измерением результатов до и после изменений.
Неделя 2. Эффективное использование токенов
Вторая неделя посвящена методам уменьшения количества обрабатываемых токенов и сокращения повторных вычислений.
Основные темы:
• Кеширование идентичных запросов.
• Семантическое кеширование с использованием эмбеддингов и векторного поиска.
• Настройка порогов сходства для кешированных ответов.
• Кеширование промптов на стороне LLM-провайдеров.
• Типичные ошибки, нарушающие работу кеширования.
• Сжатие и очистка контекста ИИ-агентов.
• Удаление устаревших результатов инструментов.
• Управление контекстным окном.
• Оптимизация KV-cache.
• Дистилляция промптов, контекста и моделей.
• Ограничения методов дистилляции и потенциальные потери качества.
Практические задания:
• Создание семантического кеша с настройкой порогов сходства и проверкой корректности ответов.
• Разработка симулятора кеширования префиксов промптов.
• Сравнение различных стратегий сжатия контекста с измерением стоимости и сохранности информации.
• Дистилляция сложного маршрутизатора в небольшую модель с последующим тестированием и переобучением.
Неделя 3. Интеллектуальная маршрутизация и каскады моделей
Третья неделя посвящена выбору оптимальной модели для каждого запроса с учётом сложности задачи, стоимости, качества и времени ответа.
Основные темы:
• Экономика reasoning-моделей и управление глубиной рассуждений.
• Прогнозирование сложности пользовательских запросов.
• Баланс между стоимостью, качеством и задержкой.
• Каскады моделей и подход FrugalGPT.
• Архитектуры маршрутизации LLM.
• Предиктивная и детерминированная маршрутизация.
• RouteLLM, LiteLLM, OpenRouter, Azure Model Router и Amazon Bedrock.
• Векторная маршрутизация и выбор модели для отдельных шагов агента.
• Метрики оценки качества маршрутизаторов.
• Автоматизированное тестирование с использованием LLM-as-a-Judge.
• Мониторинг распределения запросов и проверка изменений в production-системах.
Практическое задание: разработка собственного маршрутизатора моделей с нуля, тестирование на симулируемом наборе LLM и создание системы оценки, позволяющей сравнивать стоимость и качество различных стратегий маршрутизации.
Неделя 4. Оптимизация агентных рабочих процессов
Заключительная неделя посвящена наиболее сложным сценариям — многоагентным системам, в которых стоимость выполнения задач может быстро расти из-за повторных запросов, неправильного планирования и неэффективного управления состоянием.
Основные темы:
• Архитектуры многоагентных систем.
• Разделение задач, специализация агентов и параллельное выполнение.
• Модели расчёта стоимости многоагентных процессов.
• Обнаружение бесконечных циклов и неконтролируемых повторных попыток.
• Проблемы передачи задач между агентами.
• Выявление повторяющихся действий и отсутствия прогресса.
• Очистка состояния и управление памятью.
• Сжатие контекста и перезапуск агентных процессов.
• Стратегии планирования ReAct и Plan-then-Execute.
• Оптимизация поиска решений и перепланирования.
• Спекулятивное декодирование.
• Совместная оптимизация моделей, промптов, инструментов и инфраструктуры.
Итоговый проект: переработка неэффективного исследовательского ИИ-агента. Вы проанализируете причины повышенных затрат, обнаружите проблемные циклы и примените изученные методы оптимизации для повышения эффективности всей системы.
Для кого этот курс
Курс будет полезен:
• AI/ML-инженерам, которые разрабатывают и оптимизируют приложения на основе больших языковых моделей.
• Backend-разработчикам, интегрирующим LLM API в продукты и сервисы.
• AI-инженерам, создающим автономных агентов и многоагентные системы.
• MLOps- и инфраструктурным инженерам, отвечающим за производительность, мониторинг и стоимость ИИ-инфраструктуры.
• Техническим руководителям и архитекторам, которым необходимо контролировать расходы на ИИ и повышать окупаемость технологических инвестиций.
Требования
Для прохождения курса не требуется глубокая предварительная подготовка в области искусственного интеллекта, однако практический опыт использования ИИ-инструментов поможет быстрее освоить материал.
Для выполнения заданий понадобится API-ключ одного из LLM-провайдеров, например OpenAI, Anthropic Claude или Google Gemini.
Ориентировочные дополнительные расходы на API во время обучения составят 10–20 долларов.
Результат обучения
По завершении курса вы будете понимать, как формируется стоимость современных ИИ-систем, сможете выявлять неэффективное использование вычислительных ресурсов и самостоятельно внедрять методы сокращения затрат.
Вы получите практический опыт создания LLM Gateway, реализации кеширования, оптимизации контекста, дистилляции моделей, интеллектуальной маршрутизации запросов и улучшения многоагентных процессов.
Главная цель курса — научиться создавать ИИ-системы, которые сохраняют необходимое качество и производительность, но требуют значительно меньше ресурсов для выполнения тех же задач.
