Словарь терминов
Evals / Evaluations (Оценки)
Процесс систематического измерения производительности LLM или AI-системы по сравнению с определенным стандартом (ground truth) для обеспечения точности, надежности и соответствия целям продукта.
Процесс систематического измерения производительности LLM или AI-системы по сравнению с определенным стандартом (ground truth) для обеспечения точности, надежности и соответствия целям продукта.
Criteria (Критерии)
Четко определенные правила или стандарты, описывающие, что считается "хорошим" или "плохим" результатом работы модели для конкретной задачи. Основа для любой оценки.
Deterministic Evals (Детерминированные оценки)
Тип оценки, основанный на выполнении точных правил или кода (например, проверка наличия подстроки, соответствие формату JSON, точное совпадение, расчет классических метрик NLP типа BLEU/ROUGE).
Model-based Evals (Оценки с помощью моделей / Оценки по модели)
Использование другой LLM (часто GPT-4) в качестве "судьи" для оценки качества вывода основной модели по заданным критериям (например, релевантность, обоснованность, стиль, отсутствие галлюцинаций).
Human Evaluation (Оценка человеком)
Привлечение людей для оценки качества вывода модели, особенно для субъективных критериев или для создания "золотого стандарта".
Golden Standard / Ground Truth (Золотой стандарт / Эталонный ответ)
Набор идеальных или корректных выходных данных, созданный (часто вручную), с которым сравниваются ответы модели в процессе оценки.
Eval Dataset / Test Set (Набор данных для оценки / Тестовый набор)
Репрезентативная выборка входных данных и соответствующих им эталонных ответов (ground truth), используемая для тестирования модели. Должен включать примеры разной сложности, включая крайние случаи (edge cases).
Hallucination (Галлюцинация)
Генерация моделью правдоподобной, но фактически неверной или не основанной на предоставленном контексте информации.
Groundedness / Faithfulness (Обоснованность / Верность контексту)
Критерий оценки, проверяющий, что ответ модели строго основан на предоставленной ей информации (контексте).
promptfoo
Инструмент с открытым исходным кодом, продемонстрированный в видео для создания, запуска и визуализации результатов автоматизированных оценок.
Bias (in evaluators) (Предвзятость оценщика)
Систематические искажения при использовании LLM в качестве оценщика (например, предпочтение более длинных ответов, позиционная предвзятость).
Levels of Evaluation Maturity (Уровни зрелости оценки)
Концепция развития процесса оценки: от интуитивных проверок (Уровень 1) к автоматизированным тестам (Уровень 2) и до полного цикла с мониторингом в продакшене (Уровень 3).
Accuracy / Precision / Recall / F1 Score:
Стандартные метрики для оценки задач классификации или извлечения информации.
NLP Metrics (BLEU, ROUGE):
Классические метрики для оценки качества машинного перевода или реферирования путем сравнения последовательностей слов с эталоном.
Synthetic Data Generation (Генерация синтетических данных)
Использование LLM для создания искусственных примеров для оценочного датасета. Требует последующей проверки человеком.
Labeling / Annotation (Разметка данных)
Процесс создания эталонных ответов (ground truth) для оценочного датасета, часто выполняемый вручную.
Chain of Thought (Цепочка мыслей)
Метод промптинга, при котором модель просят пошагово объяснить свое рассуждение. Полезен для повышения надежности LLM-оценщика.
Edge Cases (Крайние / Сложные случаи)
Нетипичные или сложные входные данные, важные для проверки устойчивости модели.
Monitoring (Мониторинг)
Отслеживание производительности модели и сбор обратной связи после развертывания в продакшене.
Distillation (Дистилляция)
Процесс обучения меньшей модели поведению большей модели. Упомянут в контексте продукта OpenAI Evals.
Четко определенные правила или стандарты, описывающие, что считается "хорошим" или "плохим" результатом работы модели для конкретной задачи. Основа для любой оценки.
Deterministic Evals (Детерминированные оценки)
Тип оценки, основанный на выполнении точных правил или кода (например, проверка наличия подстроки, соответствие формату JSON, точное совпадение, расчет классических метрик NLP типа BLEU/ROUGE).
Model-based Evals (Оценки с помощью моделей / Оценки по модели)
Использование другой LLM (часто GPT-4) в качестве "судьи" для оценки качества вывода основной модели по заданным критериям (например, релевантность, обоснованность, стиль, отсутствие галлюцинаций).
Human Evaluation (Оценка человеком)
Привлечение людей для оценки качества вывода модели, особенно для субъективных критериев или для создания "золотого стандарта".
Golden Standard / Ground Truth (Золотой стандарт / Эталонный ответ)
Набор идеальных или корректных выходных данных, созданный (часто вручную), с которым сравниваются ответы модели в процессе оценки.
Eval Dataset / Test Set (Набор данных для оценки / Тестовый набор)
Репрезентативная выборка входных данных и соответствующих им эталонных ответов (ground truth), используемая для тестирования модели. Должен включать примеры разной сложности, включая крайние случаи (edge cases).
Hallucination (Галлюцинация)
Генерация моделью правдоподобной, но фактически неверной или не основанной на предоставленном контексте информации.
Groundedness / Faithfulness (Обоснованность / Верность контексту)
Критерий оценки, проверяющий, что ответ модели строго основан на предоставленной ей информации (контексте).
promptfoo
Инструмент с открытым исходным кодом, продемонстрированный в видео для создания, запуска и визуализации результатов автоматизированных оценок.
Bias (in evaluators) (Предвзятость оценщика)
Систематические искажения при использовании LLM в качестве оценщика (например, предпочтение более длинных ответов, позиционная предвзятость).
Levels of Evaluation Maturity (Уровни зрелости оценки)
Концепция развития процесса оценки: от интуитивных проверок (Уровень 1) к автоматизированным тестам (Уровень 2) и до полного цикла с мониторингом в продакшене (Уровень 3).
Accuracy / Precision / Recall / F1 Score:
Стандартные метрики для оценки задач классификации или извлечения информации.
NLP Metrics (BLEU, ROUGE):
Классические метрики для оценки качества машинного перевода или реферирования путем сравнения последовательностей слов с эталоном.
Synthetic Data Generation (Генерация синтетических данных)
Использование LLM для создания искусственных примеров для оценочного датасета. Требует последующей проверки человеком.
Labeling / Annotation (Разметка данных)
Процесс создания эталонных ответов (ground truth) для оценочного датасета, часто выполняемый вручную.
Chain of Thought (Цепочка мыслей)
Метод промптинга, при котором модель просят пошагово объяснить свое рассуждение. Полезен для повышения надежности LLM-оценщика.
Edge Cases (Крайние / Сложные случаи)
Нетипичные или сложные входные данные, важные для проверки устойчивости модели.
Monitoring (Мониторинг)
Отслеживание производительности модели и сбор обратной связи после развертывания в продакшене.
Distillation (Дистилляция)
Процесс обучения меньшей модели поведению большей модели. Упомянут в контексте продукта OpenAI Evals.
Полезные ссылки
Promptfoo
https://www.promptfoo.dev/
Инструмент с открытым исходным кодом для тестирования и оценки LLM-промптов и моделей, который использовался в демонстрации видео. Позволяет легко настраивать детерминированные и модельные проверки.
Документация OpenAI по Оценкам (Evals) / Рецепты (Cookbook)
https://platform.openai.com/docs/guides/evals
https://cookbook.openai.com/examples/evaluation/getting_started_with_openai_evals
Официальные ресурсы OpenAI, где можно найти подходы к оценке LLM-приложений, примеры кода, лучшие практики и, возможно, информацию о собственном фреймворке OpenAI Evals.
RAGAS (или аналогичные фреймворки оценки RAG)
https://github.com/explodinggradients/ragas
Фреймворк предназначенный для оценки RAG-систем.
https://www.promptfoo.dev/
Инструмент с открытым исходным кодом для тестирования и оценки LLM-промптов и моделей, который использовался в демонстрации видео. Позволяет легко настраивать детерминированные и модельные проверки.
Документация OpenAI по Оценкам (Evals) / Рецепты (Cookbook)
https://platform.openai.com/docs/guides/evals
https://cookbook.openai.com/examples/evaluation/getting_started_with_openai_evals
Официальные ресурсы OpenAI, где можно найти подходы к оценке LLM-приложений, примеры кода, лучшие практики и, возможно, информацию о собственном фреймворке OpenAI Evals.
RAGAS (или аналогичные фреймворки оценки RAG)
https://github.com/explodinggradients/ragas
Фреймворк предназначенный для оценки RAG-систем.