There is a file with following text Summarize information and write a small description,…
- User
There is a file with following text Summarize information and write a small description, whych may be used to find this file later. Your answer MUST be ONLY in RUSSIAN LANGUAGE. THIS IS THE MOST IMPORTANT REQUIREMENT! Do not ask any follow-up questions Try to include in your answer all entities, names (include full name, if you find some), topics or other keywords whych may help to find this file later Be sure to include name of the author of this file, if you find it Text:
Лекция 3. Обучение с учителемКурс лекций по анализу данных Лектор: Сергей Муравьёв Слайды: Алексей Забашта и Андрей Фильченков 24 сентября 2024 г.План лекции Обучение с учителем Гиперпараметры Переобучение и регуляризация Перекрёстная проверка Оценка задачи классификации Оценка задачи регрессииЗадача обучения с учителем (напоминание) Обучение с учителем, Обучение на размеченных данных (примерах, прецедентах), аппроксимация, Supervised learning ∙Задача машинного обучения, в которой тренировочная выборка содержит верные ответы, которые алгоритм должен научиться предсказывать для новых данных. ∙Размеченный объект — объект, у которого есть значение целевого признака. Варианты задачи обучения с учителем в зависимости от 𝑌: ∙Задача классификации: 𝑌={𝑐1, 𝑐2, . . . , 𝑐 𝑘}. ∙Задача вероятностной классификации: 𝑌=Pr𝑘. ∙Задача восстановления регрессии: 𝑌=R𝑘. ∙Задача ранжирования: 𝑌— перестановка или ранг (порядковый тип). 3/54Наивные алгоритмы Алгоритм, который использует только 𝑌 ∙Задача классификации :𝑎(𝑥) =Mode [𝑌] (чаще всего встретившиеся значение). ∙Задача восстановления регрессии :𝑎(𝑥) =E[𝑌] (минимизирует не все функции ошибки). Сравнение с наивным алгоритмом ∙Если алгоритм работает хуже или сравнимо с наивным алгоритмом, значит, что он не находит зависимости 𝑌от𝑋и поэтому использует только 𝑌. ∙Следовательно модель недостаточно сильная для восстановления зависимости, либо зависимости не существует. 4/54Задачи обучения с учителем Классифик ация РегрессияРанжиров ание Вероятностная
классифик ацияДискретизация Бинарный класс ⇔ ±1 Дискре тизация + в звешив ание пре дсказанийВектор вероятност ей ⇔ вектор чисе лp = onehot(y) y = argmax(p)Значение к ласса = ре зультат сравнения Предсказание рангаПоиск соседа в списк е отсортиро- ванных объектов 5/54Сведение к бинарной классификации Пусть 𝑎𝑏— алгоритм бинарной вероятностной классификации. Сделаем из него алгоритм 𝑎многоклассовой классификации на 𝑘классов. ∙Подход «один против всех»: обучим 𝑘классификаторов 𝑎𝑏 𝑐.- Для каждого класса 𝑐классификатор 𝑎𝑏 𝑐(𝑥)предсказывает Pr(𝑦(𝑥) =𝑐), где𝑦(𝑥)— реальный класс объекта 𝑥.
- Получим алгоритм: 𝑎(𝑥) = argmax 𝑐𝑎𝑏 𝑐(𝑥). ∙Подход «один против одного»: обучим 𝑘·(𝑘−1)/2классификаторов 𝑎𝑏 𝑢,𝑣.
- Для каждой пары классов 𝑢,𝑣выберем подмножество объектов: 𝑋𝑢,𝑣={𝑥𝑖|(𝑦(𝑥𝑖) =𝑢)∨(𝑦(𝑥𝑖) =𝑣)}
- Обучим на 𝑋𝑢,𝑣алгоритм 𝑎𝑏 𝑢,𝑣(𝑥)предсказывать 𝑃𝑟(𝑦(𝑥) =𝑢).
- Получим алгоритм:
𝑎(𝑥) = argmax
𝑐∏︁
𝑣𝑎𝑏
𝑐,𝑣(𝑥)·∏︁
𝑢(︀
1−𝑎𝑏
𝑢,𝑐(𝑥))︀
Эти подходы также работают и для мягкой классификации.
6/54Генеративные и дискриминативные модели
Генеративные модели, Порождающие модели,
Generative models
Это класс моделей, которые обучают совместное
распределение данных 𝑝(𝑥,𝑦). Сводят задачу
классификации к задаче восстановления
плотности.
Дискриминативные модели, Discriminative
models
Это класс моделей, которые обучают только
условное распределение 𝑝(𝑦|𝑥). Пытаются найти
разделяющее правило.
7/54План лекции
Обучение с учителем
Гиперпараметры
Переобучение и регуляризация
Перекрёстная проверка
Оценка задачи классификации
Оценка задачи регрессииСхема обучения алгоритма
Алгоритм
обучения
модели aX
Набор данныхθ
Параме трыГиперпараме тры
aθ
Алгоритм
предсказанияx
Объектy
Предсказание
9/54Гиперпараметры
Различные определения:
∙Параметры алгоритма обучения.
∙Параметры, которые не меняются во время обучения.
∙Параметры, которые можно установить до наблюдения
набора данных.
∙Структурные параметры.
10/54Настройка гиперпараметров как часть обучения (1/2)
Алгоритм
обучения
модели aX
Набор данныхp1, p2, p3, …
Спис ок
гиперпараме тров
Train
test
splittest_size = 0.25
Xtrain
Xvalid Алгоритм
обучения
модели aПере бор
гиперпараме тров
Функция
ошибкиaθ Алгоритм предсказанияθi параме тры модели x y θ best финальные
параме тры модели pi pbest 11/54Настройка гиперпараметров как часть обучения (2/2) ∙Валидационное множество (validation set) — тестовое множество, которое используется для валидации при настройке гиперпараметров. ∙Иногда алгоритм настройки не делает финального обучения
- Assistant
Этот файл содержит текст третьей лекции курса по анализу данных, посвящённой теме «Обучение с учителем». Лекция проведена Сергеем Муравьёвым 24 сентября 2024 года, слайды подготовлены Алексеем Забаштой и Андреем Фильченковым. В содержании рассматриваются такие ключевые темы, как гиперпараметры, переобучение и регуляризация, перекрёстная проверка, оценка задач классификации и регрессии, а также различные алгоритмы обучения. Дополнительно обсуждаются генерирующие и дискриминативные модели, методы сведения многоклассовой классификации к бинарной, а также настройка гиперпараметров. Этот материал полезен для поиска информации по обучению с учителем, машинному обучению, анализу данных, классификации, регрессии и методам оптимизации моделей.