День 2, Лекция 2 — Формулирование задачи и выбор LLM

О чём эта лекция. Елизавета Ермакова — эксперт с опытом в ИИ с 2018 года, участник редактирования первой версии стратегии ИИ РФ, старший менеджер продукта МТС AI — рассказывает о первом из трёх уроков модуля. Урок охватывает два ключевых навыка: как правильно формулировать задачу для LLM через аналогию делегирования сотруднику и как выбирать подходящую модель по трём параметрам. Второй и третий уроки модуля посвящены продвинутым техникам промтинга и сложным цепочкам задач.

Концепция 1: LLM как сотрудник — метафора делегирования

Ермакова предлагает ключевую метафору для работы с языковыми моделями: LLM — это ваш сотрудник-исполнитель. Он может выдавать ошибки (стохастичность), не всегда управляем, но с правильной постановкой задачи даёт нужный результат. Главная особенность: LLM — это сотрудник-хамелеон, которому можно приписать любую роль и сделать суперспециалистом для конкретной задачи.

Аналогия на примере. Будто вы заказываете кейтеринг или вызываете клининг: вы чётко знаете, что должен сделать подрядчик, какой этап хотите получить, какие требования к качеству. Та же логика — с LLM. В первом уроке: цель + выбор модели. В следующих уроках: контроль и корректировка.

Концепция 2: Структура промта — 6 компонентов

Ермакова представляет «рыбу» — шаблон промта, который помогает чётко сформулировать задачу модели. Каждый элемент выполняет свою роль:

Анатомия промта

Роль

Кем выступает LLM в этой задаче? Сотрудник-хамелеон примет любую роль — юриста, аналитика, копирайтера. Чем точнее роль, тем качественнее ответ. Предыдущий урок уже подробно разбирал этот блок.

Задача

Что конкретно нужно сделать? Чёткая формулировка главного действия: проанализировать, написать, перевести, извлечь, сформулировать.

Инструкция

Пошаговые инструкции для «джуна»: какие шаги предпринять, в каком порядке действовать, что учесть на каждом этапе выполнения.

Контекст

Дополнительные сведения вокруг задачи: для кого материал (совет директоров, клиенты), какова ситуация, какие ограничения или допущения нужно учесть.

Данные

Входные материалы: тексты для переработки, шаблоны, базы знаний, примеры. Могут быть маленькими (один абзац) или огромными (несколько файлов, целые базы знаний в коммерческой эксплуатации).

Выходные критерии

Образ результата: формат файла, объём текста, количество слов, стилистика, структура. Например: «заполни шаблон из входных данных», «не более 500 слов», «деловой стиль».

Концепция 3: Типы задач и сложность

Понимание типа задачи определяет, насколько «умная» модель вам нужна. Ермакова выделяет три класса:

Анализ текста

Извлечение ключевой информации
Анализ данных и документов
Предложение решений задач
Генерация идей и гипотез
Рассуждения и выводы

Генерация текста

Создание отчётов
Рекламные и маркетинговые тексты
Структурированные документы
Письма и коммуникации
Контент для каналов

Трансформация текста

Перевод на другие языки
Суммаризация (резюме)
Переформулировка и стилизация
Редактирование и корректура
Структурирование информации

К моменту выбора модели у вас должно быть чёткое понимание трёх вещей: объём входного текста, объём выходного текста и уровень сложности (комбинация типов задач).

Концепция 4: Критерии выбора LLM — три параметра

Имея на руках сформулированную задачу, можно приступать к выбору модели. Ермакова выделяет три ключевых параметра:

128K+

Контекстное окно

Измеряется в тысячах токенов (4K, 8K, 32K, 128K). Чем больше — тем больше текста принимает и выдаёт модель. 4K токенов ≈ 5,5 страниц текста А4 (1 токен = 2,5 символа в МТС AI)

70B+

Параметры модели

Количество параметров в миллиардах. Больше параметров = умнее модель (в среднем по рынку). Влияет на качество анализа и генерации, а также на стоимость использования

⚙️

Специфика задачи

Мультиязыковая поддержка, поиск в интернете (факт-чекинг), работа с корпоративными данными, отраслевая специализация (юриспруденция, инженерия и т.д.)

Принцип баланса: не берите самую умную (и дорогую) модель для простых задач. Оцените: нужно ли вам много контекста? Сложная ли комбинация задач? Нужна ли мультиязычность? Отталкивайтесь от минимально достаточного уровня компетенции — как при найме сотрудника: не нанимаете профессора для задачи джуна.

Сравнительная таблица моделей

На лекции Ермакова показывает, как сравнивать модели по ключевым параметрам. Ниже — обзор основных игроков, упомянутых в курсе:

Модель	Разработчик	Тип	Контекст	Доступность	Особенности
ChatGPT (GPT-4o)	OpenAI	Зарубежная	128K токенов	Бесплатный + платный	Высокое качество, широкие возможности, доступен через AlpinaGPT и ТГ-боты
GigaChat	Сбербанк	Российская	До 32K токенов	Бесплатный + платный	Проприетарная модель, хорошо работает с русским языком, есть бесплатный доступ
KT Pro (МТС AI)	МТС AI	Российская	Уточняется	Только платный	Проприетарная модель на базе open-source, сильно доработанная, встроена в ассистенты МТС
T-Pro	Т-Банк	Российская	Уточняется	Закрытая	Закрытая модель, встроена в ассистент Т-Банка, в лидерборде MERA
YandexGPT	Яндекс	Российская	Уточняется	Бесплатный + платный	Собственная проприетарная модель Яндекса, интегрирована в Алису и сервисы Яндекса
Claude (Anthropic)	Anthropic	Зарубежная	200K токенов	Бесплатный + платный	Очень большое контекстное окно, доступен через AlpinaGPT
Gemini	Google	Зарубежная	До 2M токенов	Бесплатный + платный	Рекордное контекстное окно, мультимодальный, доступен через AlpinaGPT
Mistral	Mistral AI	Open-source	Разные	Открытый	Open-source, используется разработчиками, доступен для локального развёртывания

Проприетарная vs Open-source. Проприетарные модели (GigaChat, YandexGPT, KT Pro) разрабатываются компанией самостоятельно — вы не контролируете изменения, но получаете стабильное качество. Open-source модели (Mistral и другие) — открытые, можно контролировать версии, развернуть локально, важнее для бизнеса с требованиями безопасности.

Бенчмарк MERA — как сравнивать качество

Что такое MERA?

MERA (Multimodal Evaluation for Russian-speaking Applications) — главный российский бенчмарк для сравнения LLM-моделей. Создан экспертами индустрии в рамках Альянса по искусственному интеллекту. Включает как российские, так и зарубежные и open-source модели.

Задачи для сравнения Большой класс задач: анализ, генерация, трансформация, работа с острыми темами (политика, гендер и т.д.)

Фильтр по параметрам Можно выбрать: тип задачи, количество параметров, наличие веб-интерфейса, домен знаний

Домены знаний Инженерия, политика, безопасность, география, химия, юриспруденция — выбирайте под свои задачи

Экспорт таблицы Результаты можно выгрузить в таблицу — для аргументации закупки корпоративного решения

Как использовать MERA на практике

Для личного использования

Отфильтруйте модели с веб-интерфейсом
Выберите задачи, похожие на ваши
Сравните общий балл в нужных доменах
Учтите доступность в России

Для корпоративных закупок

Выгрузите таблицу — это аргументация для IT-тендера
Добавьте задачи вашей отрасли
Сравните с ChatGPT как с эталоном
Обоснуйте выбор конкретного вендора

Perplexity как инструмент для сравнения моделей

Ермакова демонстрирует практический способ быстро собрать актуальную сравнительную таблицу моделей — через Perplexity, которая умеет ходить в интернет и проверять информацию в реальном времени.

Почему это важно: таблицы моделей устаревают быстро — все компании постоянно обновляют свои продукты. Perplexity позволяет за 5–7 запросов собрать актуальную сравнительную таблицу с источниками. Модель при этом делает основную работу, а вы лишь корректируете результат.

Зарегистрируйтесь в Perplexity — сервис доступен для российских пользователей, есть бесплатная версия с базовым функционалом.

Запросите таблицу характеристик нужных моделей: «Составь таблицу сравнения ChatGPT, GigaChat, KT Pro, YandexGPT по параметрам: количество параметров, контекстное окно, тип, доступность, стоимость».

Проверьте источники — Perplexity даёт ссылки на страницы, из которых берёт данные. Обязательно верифицируйте ключевые цифры.

Итерируйте запросами — добавьте пропущенные модели, попросите добавить оценку по MERA, уточните характеристики. 5–7 запросов дают рабочий результат.

Вручную скорректируйте итоговую таблицу — модель иногда ошибается в деталях, особенно по российским моделям. Основную работу она сделала, финальная проверка — за вами.

Безопасность данных при работе с LLM

Ермакова отдельно акцентирует внимание на вопросах конфиденциальности — это один из ключевых критериев выбора модели в корпоративной среде.

Корпоративные данные под NDA

Внутренние документы, финансовые данные, стратегии — нельзя отправлять в публичные модели (ChatGPT и др.). Данные могут стать частью обучающей выборки и попасть к другим пользователям. В индустрии уже были судебные прецеденты.

Персональные данные клиентов

Даже если вы работаете на себя — убедитесь, что в отправляемых данных нет персональных данных клиентов или что у вас есть все необходимые согласия на их обработку. Ответственность лежит на вас.

Решение: корпоративное развёртывание

Для компаний с требованиями по безопасности — закупить модель «контр-кампании» (on-premise). Данные не выходят наружу, модель работает только для вас. MERA поможет аргументировать выбор вендора.

Агрегаторы с контролем доступа

AlpinaGPT и аналогичные сервисы предоставляют контролируемый доступ к мощным моделям. Для личного использования — безопаснее публичных интерфейсов, не требуют технической интеграции.

AlpinaGPT как агрегатор моделей

AlpinaGPT — единая точка доступа к множеству LLM

Ермакова упоминает AlpinaGPT как пример класса решений-агрегаторов. В нём собраны ChatGPT, Claude, Gemini и другие зарубежные модели — без необходимости искать VPN, иностранные карты или отдельные подписки. Модели просто доступны «в одном окне». Такие решения можно включать в сравнительные таблицы при выборе инструментов для команды — они упрощают доступ и позволяют сравнивать модели напрямую в одном интерфейсе.

Ключевые выводы лекции

LLM — это сотрудник-хамелеон. Подходите к нему как к делегированию: формулируйте задачу, критерии качества, выбирайте подходящий «уровень» исполнителя и контролируйте результат.
Промт состоит из 6 компонентов: Роль, Задача, Инструкция, Контекст, Данные, Критерии вывода. Чётко заполненный шаблон = предсказуемый результат.
Три типа задач: анализ, генерация, трансформация. Их комбинация повышает требования к модели — нужна умнее и дороже.
Выбор модели строится на трёх параметрах: контекстное окно (сколько текста), количество параметров (уровень интеллекта), специфика (язык, интернет-поиск, домен).
MERA — главный российский бенчмарк. Используйте его для выбора модели под конкретные задачи и для аргументации корпоративных закупок.
Perplexity позволяет за 5–7 запросов собрать актуальную сравнительную таблицу моделей с источниками — это быстрее, чем делать вручную, и всегда актуально.
Корпоративные данные и персональные данные клиентов нельзя отправлять в публичные модели. Для работы с ними используйте корпоративное развёртывание или специализированные агрегаторы.
AlpinaGPT и аналогичные агрегаторы дают доступ к нескольким моделям в одном интерфейсе — удобно для сравнения и для команд, которым важна простота доступа.

Что дальше в модуле

Урок 1 (этот)

Формулировка задачи
Структура промта
Выбор модели

Урок 2 (следующий)

Продвинутые техники промтинга
Лайфхаки по написанию промтов
Корректировка и итерации

Урок 3

Сложные цепочки задач
Рассуждающие модели (reasoning)
Когда обращаться к тех. специалистам