Создай конспект для моей тетради: Введение в машинное обучение Ермакова Анна, аналитик…
- User
Создай конспект для моей тетради: Введение в машинное обучение Ермакова Анна, аналитик Что такое машинное обучение, его приложения План лекции 1 2 Общепринятые обозначения и используемые термины 3 Виды задач обучения с учителем 4 Модель 5 Метрики качества модели 1 Что такое машинное обучение, его приложения Что такое машинное обучение, его приложения 4 › Машинное обучение — это наука, изучающая алгоритмы, автоматически улучшающиеся благодаря опыту. Что такое машинное обучение, его приложения 5 Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ › Приложения машинного обучения
- Рекомендательные системы https://research.netflix.com/research-area/machine-learning
- Поиск https://habr.com/ru/company/yandex/blog/174213/
- Умные ассистенты https://habr.com/ru/company/yandex/blog/593681/
- Погода https://habr.com/ru/company/yandex/blog/565238/
- Перевод текста
- Диагностика болезней Что такое машинное обучение, его приложения 6 Важно: если нужно вернуться на предыдущий способ выделения, нужно нажать на клавишу Меньший отступ › Приложения компьютерного зрения
- Системы видеонаблюдения распознавание лиц, номеров автомобилей
- Робототехника распознавание объектов, знаков дорожного движения
- Диагностика болезней анализ медицинских изображений
- Обработка фотографий
- Сельское хозяйство распознавание веса животных, их здоровья 7 Что такое машинное обучение, его приложения › Chihuahua or Muffin – классификация изображений сложнее, чем кажется 2 Общепринятые обозначения и используемые термины 9 Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE Восстановление эмпирических зависимостей в данных. Общепринятые обозначения и используемые термины › Задача обучения по набору объектов или примеров (sample) 10 Описание объекта. Общепринятые обозначения и используемые термины › Наблюдение (observation) Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 11 Набор наблюдений. Общепринятые обозначения и используемые термины › Выборка (dataset) Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 12 Фиксированный набор признаков, измеренных для каждого объекта. Могут быть числовыми или категориальными. Общепринятые обозначения и используемые термины › Признаковое описание (features) Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 13 Фиксированный набор признаков, измеренных для каждого объекта. Могут быть числовыми или категориальными. Общепринятые обозначения и используемые термины › Признаковое описание (features) Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 5 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 14 Фиксированный набор признаков, измеренных для каждого объекта. Могут быть числовыми или категориальными. Общепринятые обозначения и используемые термины › Признаковое описание (features) Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 15 Фиксированный набор признаков, измеренных для каждого объекта. Могут быть числовыми или категориальными. Общепринятые обозначения и используемые термины › Признаковое описание (features) Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 16 Правильные ответы для каждого объекта обучающей выборки заранее известны. Общепринятые обозначения и используемые термины › Обучение с учителем Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 17 В задаче обучения с учителем наблюдение состоит из объекта (sample) и ответа (target). Общепринятые обозначения и используемые термины › Обучение с учителем Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 18 В задаче обучения без учителем известны только объекты, а ответы неизвестны или вообще не существуют. Общепринятые обозначения и используемые термины › Обучение без учителя Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский Аня 17 4 5 Коричневый Русский Емеля 25 5 5 Голубой Английский Настя 27 3 4 Зелёный Русский Миша 23 5 4 Неизвестно Испанский 3 Виды задач обучения с учителем 20 Ответом является число. Виды задач обучения с учителем › Задача регрессии Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 21 Ответ – бинарный, «да» или «нет». Виды задач обучения с учителем › Задача бинарной классификации Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 22 Ответ – принадлежность к некоторому классу. Виды задач обучения с учителем › Задача многоклассовой классификации Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE Виды задач обучения с учителем 23 › Другие виды задач обучения с учителем
- Многоклассовая классификация с переспекающимися классами Ответ – набор меток принадлежности к подходящим классам
- Ранжирование Ответ – номер объекта в отранжированном списке 4 Модель 25 Модель Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE › Модель – алгоритм, который приближает неизвестную зависимость 26 mark !��!"# = 1 2 mark$%!%&'%&(' + 1 2 mark)*%+,- Модель Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE › Параметрическая модель – комбинация фичей 27 mark !��.!-/ = �������(1, 5) Модель › Константная или случайная модель Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE 5 Метрики качества модели 29 Метрики качества модели › Виды метрик глобально
- Бизнес-метрики Про доход
- Онлайн (online) метрики характеристики системы, влияющие на бизнес метрики
- Офлайн (offline) метрики могут быть измерены заранее по историческим данным 30 Имя � = ML (оценка) � 4 ��� = mark !����� � 4 ��� – � � 4 ���� = mark!������ � 4 ���� – � Иван 5 4.5 0.5 1 4 Аня 4 4.5 0.5 5 1 Емеля 5 5 0 3 2 Настя 5 3.5 1.5 4 1 Миша 2 4.5 2.5 2 0 Функция, позволяющая оценить качество модели � на некоторой выборке �.err!"# = % ∑&'( ) � & *+, – � = 1 err-!./ = % ∑&'( ) � & 0*12 – � = 1.75 Метрики качества модели › Метрика (metric) 31 Метрики качества модели › Метрики регрессии
- Средняя квадратичная ошибка (Mean Squared Error, MSE) ��� = ) ∑&' ) � 0 & − �& 3
- Средняя абсолютная ошибка (Mean Absolute Error, MAE) ��� = ) ∑&' ) � 0 & − �&
- Корень из средней квадратичной ошибки (Root Mean Squared Error, RMSE) ���� = ) ∑&' ) � 0 & − �& 3 32 Метрики качества модели › Метрики бинарной классификации Аккуратность (Accuracy) – доля объектов, для которых мы верно предсказали класс A������� = ) ∑&' ) �[� 0 & = �&] Проблемы Accuracy:
- Не учитывает дисбаланс классов
- Не учитывает цену ошибки на объектах разных классов 33 Метрики качества модели › Accuracy в задаче с неравными классами Имеется 100 настоящих штрихкодов Лавки и 10 фейковых Обученный классификатор:
- 90 классификатор определил верно -> TP = 90, FN = 10
- 5 классификатор определил верно -> TN = 5, FP = 5 �������� =
4564)67567)
8(69 8(69696$( = 86,4 Константная модель: �������� = �� + �� �� + �� + �� + ��
0 + 100 0 + 100 + 0 + 10 = 90,9 34 Метрики качества модели › Матрица ошибок (confusion matrix) 35 Метрики качества модели › Матрица ошибок (confusion matrix) 36 Метрики качества модели › Метрики качества бинарной классификация в терминах матрицы ошибок
- Аккуратность (Accuracy) �������� =
4564)67567)
- Точность (Precision) ��������� = 45 45675
- Полнота (Recall) ������ = 45
- F-мера � = 50:;&<&=1 ∗?:;@@ A!50:;&<&=16?:;@@ ∗ (1 + �3) 37 Метрики качества модели › Метрики качества бинарной классификация в терминах матрицы ошибок
- Аккуратность (Accuracy) �������� =
4564)67567)
- Точность (Precision) ��������� = 45 45675
- Полнота (Recall) ������ = 45
- F-мера � = 50:;&<&=1 ∗?:;@@ A!50:;&<&=16?:;@@ ∗ (1 + �3) 38 Метрики качества модели › Бинарная классификация - вероятности классов Часто модель выдает не ответ 0/1, а вероятность принадлежности положительному классу. Считают, что объект принадлежит положительному классу, если вероятность выше некоторого порога. Как выбрать этот порог?
- уменьшаем порог –> находим (правильно предсказываем) все большее число положительных объектов, НО также и неправильно предсказываем положительную метку на все большем числе отрицательных объектов 39 Метрики качества модели › Метрики качества бинарной классификации – ROC / AUC
- True Positive Rate (TPR) ��� = 45
- False Positive Rate (FPR) ��� = 75 4)675
- ROC - кривая в осях TPR/FPR
- AUC - площадь под кривой ROC 40 Метрики качества модели › Метрики качества бинарной классификации – ROC / AUC TPR, FPR растут при уменьшении порога По этой ссылке интерактивный график, который поможет вам понять поведение ROC-кривой 41 Метрики качества модели › Метрики качества многоклассовой классификации K классов. Задача – отделить класс i от остальных классов (i = 1, …, K). Шаг 1 - Считаем матрицу ошибок для каждого класса i, считая i – положительным классом, а все остальные – отрицательным. Шаг 2 – усредняем, чтобы получить метрики. Есть два способа:
- Микроусреднение. Усредняем элементы матрицы ошибок (TP, FP, TN, FN) между бинарными классификаторами, например �� = B ∑&' B ��&. Затем по одной усреднённой матрице ошибок считаем Precision, Recall, F-меру.
- Макроусреднение. Считаем Precision, Recall для каждого классификатора отдельно, а потом усредняем. 42 Метрики качества модели › Какие еще могут быть требования к модели?
- Возможность работать в реальном времени
- Компактность
- Интерпретируемость
- Отсутствие дискриминаций в модели
- Assistant
Конспект лекции: Введение в машинное обучение
Автор: Ермакова Анна, аналитик
План лекции
- Введение в машинное обучение
- Общепринятые обозначения и используемые термины
- Виды задач обучения с учителем
- Модель
- Метрики качества модели
1. Что такое машинное обучение и его приложения
Определение
- Машинное обучение (МО) — наука, изучающая алгоритмы, которые автоматически улучшаются благодаря опыту.
Приложения МО
- Рекомендательные системы: Примеры — Netflix.
- Поисковые системы: Примеры — Яндекс.
- Умные ассистенты: Примеры — Алиса от Яндекса.
- Прогнозирование погоды
- Перевод текста
- Диагностика болезней
Приложения компьютерного зрения
- Системы видеонаблюдения: Распознавание лиц, номеров автомобилей.
- Робототехника: Распознавание объектов, дорожных знаков.
- Медицинская диагностика: Анализ медицинских изображений.
- Обработка фотографий
- Сельское хозяйство: Оценка веса животных, их здоровья.
2. Общепринятые обозначения и используемые термины
Основные термины
- Объект (sample): Набор данных, описывающий отдельный пример.
- Наблюдение (observation): Описание объекта.
- Выборка (dataset): Набор наблюдений.
- Признаковое описание (features): Фиксированный набор признаков, измеренных для каждого объекта. Могут быть числовыми или категориальными.
- Обучение с учителем: Задача, где для каждого объекта известен правильный ответ (target).
- Обучение без учителя: Задача, где известны только объекты, ответы неизвестны или отсутствуют.
Пример выборки
Имя Возраст Статистика (оценка) Python (оценка) Цвет глаз Язык ML (оценка) Зачтено Иван 22 5 4 Голубой Английский 5 TRUE Аня 17 4 5 Коричневый Русский 4 TRUE Емеля 25 5 5 Голубой Английский 5 TRUE Настя 27 3 4 Зелёный Русский 5 TRUE Миша 23 5 4 Неизвестно Испанский 2 FALSE
3. Виды задач обучения с учителем
Задача регрессии
- Определение: Ответ является числом.
- Пример: Прогнозирование стоимости дома.
Бинарная классификация
- Определение: Ответ — бинарный, «да» или «нет».
- Пример: Определение наличия заболевания.
Многоклассовая классификация
- Определение: Ответ — принадлежность к одному из нескольких классов.
- Пример: Классификация видов растений.
Другие виды задач
- Многоклассовая классификация с пересекающимися классами: Набор меток принадлежности к нескольким классам.
- Ранжирование: Ответ — порядок объектов в списке.
4. Модель
Определение модели
- Модель — алгоритм, который приближает неизвестную зависимость между признаками и целевыми переменными.
Типы моделей
- Параметрическая модель: Использует фиксированное число параметров.
- Константная или случайная модель: Базовые модели для сравнения.
5. Метрики качества модели
Виды метрик
- Бизнес-метрики: Отражают влияние модели на бизнес-показатели.
- Онлайн (online) метрики: Характеристики системы в реальном времени.
- Офлайн (offline) метрики: Оцениваются на исторических данных.
Метрики регрессии
- Средняя квадратичная ошибка (MSE): Среднее значение квадратов ошибок.
- Средняя абсолютная ошибка (MAE): Среднее значение абсолютных ошибок.
- Корень из MSE (RMSE): Квадратный корень из MSE.
Метрики бинарной классификации
- Аккуратность (Accuracy): Доля правильно предсказанных объектов. [ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} ]
- Точность (Precision): Доля правильно предсказанных положительных объектов. [ \text{Precision} = \frac{TP}{TP + FP} ]
- Полнота (Recall): Доля найденных положительных объектов. [ \text{Recall} = \frac{TP}{TP + FN} ]
- F-мера (F1-score): Гармоническое среднее точности и полноты. [ F1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}} ]
- ROC-кривая и AUC: Отношение истинно положительных и ложноположительных результатов при разных порогах.
Метрики многоклассовой классификации
- Микроусреднение: Усреднение элементов матрицы ошибок между классами.
- Макроусреднение: Усреднение метрик по каждому классу отдельно.
Дополнительные требования к модели
- Возможность работы в реальном времени.
- Компактность.
- Интерпретируемость.
- Отсутствие дискриминаций.
Примеры и пояснения
Матрица ошибок (Confusion Matrix)
Предсказано: Да Предсказано: Нет Реально: Да TP FN Реально: Нет FP TN Пример расчета Accuracy
- Данные:
- TP = 90, FN = 10, TN = 5, FP = 5
- Формула: [ \text{Accuracy} = \frac{90 + 5}{90 + 5 + 5 + 10} = \frac{95}{110} \approx 86.4% ]
ROC-кривая
- True Positive Rate (TPR): (\frac{TP}{TP + FN})
- False Positive Rate (FPR): (\frac{FP}{FP + TN})
- AUC: Площадь под ROC-кривой, показатель общей эффективности модели.
Заключение
Машинное обучение предоставляет мощные инструменты для решения разнообразных задач, от классификации до регрессии и ранжирования. Важно правильно выбрать модель и метрики для оценки ее качества, учитывая специфику задачи и бизнес-требования.
Ссылки:
- Рекомендательные системы: Netflix Research
- Поиск: Хабр - Яндекс
- Умные ассистенты: Хабр - Яндекс
- Погода: Хабр - Яндекс
Примечание: Для изменения стиля выделения используйте клавишу "Меньший отступ".