Улучшаемые навыки
LLM
RAG Architecture
Vector DB
AI Agents
Tool Calling
LLM Evaluation (Evals)
Prompt Management
Cost Control
Guardrails
On-premise LLM
LangChain/LlamaIndex
Инструменты
Python
Чему вы научитесь
01
Проектировать RAG-системы: гибридный поиск, переранжирование (reranking).
02
Оценивать качество LLM через автоматические метрики: RAG Quality Metrics, Evals
03
Создавать агентов с State Machines и Function/Tool Calling.
04
Защищать приложения от промпт-инъекций и ограничивать формат ответов (Structured Outputs, Guardrails).
05
Контролировать стоимость: Cost Control, кэширование промптов.
06
Разворачивать On-premise модели (Llama, Mistral) внутри корпоративного контура.
Программа курса
01
API, промпты и структурированный вывод
Эволюция LLM-моделей.
Работа с API: аутентификация, запросы, обработка ответов.
Управление промптами и версионирование (Prompt Management).
Структурированный вывод: принудительная генерация JSON/Pydantic-схем.
Мониторинг стоимости и расхода токенов (Cost Control).
02
Векторные БД и архитектура поиска
Эмбеддинги: что это и как работают.
Векторные БД как часть архитектуры RAG.
Индексация документов и продвинутый Chunking (семантическое дробление текста).
Семантический и гибридный поиск.
Построение корпоративной базы знаний.
Алгоритмы Retrieval: поиск и извлечение релевантных фрагментов.
Reranking: переранжирование результатов поиска.
Fallback strategies: стратегии деградации при отказе LLM.
04
LLM Evaluation (Метрики и оценка качества)
Почему визуальная оценка не работает.
RAG quality metrics: precision, recall.
Автоматизированное регрессионное тестирование (Evals).
Использование LLM-as-a-Judge.
05
ИИ-агенты (Agentic Workflows)
Переход от чат-ботов к агентам.
Function calling / Tool calling: вызов БД и API силами нейросети.
Паттерны агентов: ReAct.
State machines: LangGraph.
06
Безопасность и Guardrails
Уязвимости LLM: Prompt Injection, Jailbreak.
Защита данных: Data Masking.
Guardrails: валидация и фильтрация ответов ИИ.
Ограничения действий агентов.
07
Локальные модели и корпоративные ограничения (On-prem)
Проблемы регуляторики и InfoSec при использовании облачных LLM.
Запуск Open-Source моделей (Llama, Mistral) локально через Ollama и vLLM.
Квантование моделей для работы на ограниченном оборудовании.
08
Итоговый практикум: Корпоративный ИИ-помощник
Сборка защищённой RAG-системы.
Прогон через автоматические тесты качества (Evals).
Настройка мониторинга (Observability LLM-приложения).
Защита проекта перед экспертом.
09
Итого на курс 40 ак. ч.: теория — 15 ак. ч. (38%), практика — 25 ак. ч. (62%)
Для кого
Data Scientist
Разработчик
Архитектор ПО
Руководитель группы\Тимлид
Предварительная подготовка
Уверенное владение Python. Опыт разработки бэкенд сервисов. Базовое понимание HTTP и REST. Желательно знание основ ML или Data Engineering.