Переквалификация на базе высшего: Профессиональная переподготовка | Курсы на базе высшего образования в РУДН

Профессиональная переподготовка | Курсы на базе высшего образования в РУДН

Курсы формата “Профессиональная переподготовка”

Маркетплейсы: создание, развитие и продвижение бизнеса

Объем:288 ак. ч.

Формат обучения:Профессиональная переподготовка

68 000 ₽

подробнее

ДЛЯ КОГО?

для начинающим предпринимателям и продавцам, производителям товаров и частным мастерам, владельцам бизнеса, менеджерам маркетплейсов, всем, кто хочет освоить новую профессию в маркетинге. Требования к слушателям: лица, имеющие среднее профессиональное и (или) высшее образование, лица, получающие среднее профессиональное и (или) высшее образовании

Мастер делового администрирования. Специализация «Персональная жизненная бизнес-стратегия (в сфере сервиса)»

Объем:1802 ак. ч.

Продолжительность:

• 1,5 года (3 семестра)

Формат обучения:Профессиональная переподготовка

120 000 ₽

подробнее

ДЛЯ КОГО?

менеджеры и руководители, желающие развить управленческие и предпринимательские компетенции; специалисты, желающие создать собственный успешный бизнес; предприниматели, уже создавшие бизнес и желающие эффективно его развивать; бизнес-тренеры и консультанты

Цель

формирование у слушателей профессиональных компетенции, необходимых для приобретения новой квалификации

Консультативная психология

Объем:900 ак. ч.

Продолжительность:

• 2 года (4 семестра)

Формат обучения:Профессиональная переподготовка

300 000 ₽

подробнее

ДЛЯ КОГО?

Для лиц, имеющих первое высшее образование любого профиля и студентов старших курсов вузов, желающих пройти профпереподготовку в области психологии

Цель

Цель обучения на программе «Консультативная психология» – получение профессиональных компетенций, умений и знаний в области психологии.

Система менеджмента качества КЛАДО

Объем:108 ак. ч.

Продолжительность:

• 3 месяца

Формат обучения:Профессиональная переподготовка

120 000 ₽

подробнее

ДЛЯ КОГО?

ведущих линейных специалистов в сфере экономики, высший и средний менеджмент

Цель

получить знания и навыки в области управления процессами разной сложности в профессиональной деятельности

Организационное обеспечение экскурсионных услуг и разработка экскурсий (Экскурсоведение) (258 часов)

Объем:258 ак.

ч.

Продолжительность:

• от 2,5 до 4 месяцев

Формат обучения:Профессиональная переподготовка

35 500 ₽

подробнее

ДЛЯ КОГО?

специалистов, имеющих среднее и/ или высшее образование, желающих заниматься данным профессиональным видом деятельности

Цель

формирование у обучающихся профессиональных компетенций, обеспечивающих выполнение нового вида профессиональной деятельности в области оказания экскурсионных услуг

Организационное обеспечение экскурсионных услуг и разработка экскурсий (Экскурсоведение) (508 часов)

Объем:508 ак. ч.

Продолжительность:

• от 3 до 6 месяцев

Формат обучения:Профессиональная переподготовка

75 000 ₽

подробнее

ДЛЯ КОГО?

для всех желающих

Цель

формирование у обучающихся профессиональных компетенций, обеспечивающих выполнение нового вида профессиональной деятельности в области оказания экскурсионных услуг

Переводчик в сфере профессиональной коммуникации (интенсив)

Объем:1296 ак. ч.

Продолжительность:

• 2 года

Формат обучения:Профессиональная переподготовка

324 000 ₽

подробнее

ДЛЯ КОГО?

сторонних слушателей, имеющих или получающих высшее или среднее профессиональное образование, уже освоивших уровень А2-B1

Цель

подготовка специалиста к оказанию переводческих услуг в различных сферах деятельности современного общества

Психология и педагогика профессионального образования

Объем:600 ак. ч.

Продолжительность:

• 6 месяцев

Формат обучения:Профессиональная переподготовка

270 000 ₽

подробнее

ДЛЯ КОГО?

лица, имеющих высшее образование; педагогических работников учреждений СПО, не имеющих педагогического образования; преподавателей высшего образования и дополнительного профессионального образования

Цель

сформировать комплекс теоретических знаний и практических умений, необходимых для выработки и расширения компетенций в области психологии, развитие педагогических умений и навыков, необходимых для эффективной профессиональной деятельности в качестве преподавателя средних профессиональных и высших учебных заведений, повышение общей педагогической культуры, развитие у слушателей творческого отношения к профессионально-педагогической деятельности

Управление проектами в медицинской организации

Объем:252 ак. ч.

Продолжительность:

• 3 месяца

Формат обучения:Профессиональная переподготовка

137 000 ₽

подробнее

ДЛЯ КОГО?

руководителей и менеджеров медицинских организаций

Цель

Повысить эффективность руководителя, освоить практику управления микро и макро проектов.

Основы синхронного перевода (арабский язык)

Объем:300 ак. ч.

Продолжительность:

• 6-7 месяцев

Формат обучения:Профессиональная переподготовка

130 000 ₽

подробнее

ДЛЯ КОГО?

дипломированных специалистов (предпочтительно имеющих высшее лингвистическое образование) и студентов старших курсов, уже владеющих арабским языком на уровне не ниже В2, желающих улучшить переводческие компетенции

Цель

изучение практического курса профессионального устного и синхронного перевода, подготовка современных специалистов, обладающих широким общенаучным кругозором, глубокими знаниями в области переводоведения, синхронного перевода и межкультурной коммуникации

1 2 3 4 5

Переподготовка на базе высшего образования государственные вузы.

Переподготовка на базе высшего образования в государственном вузе дает возможность в дистанционном формате приобрести знания для занятия новой деятельностью. Длительность учебы зависит от профессии и в среднем составляет 250−500 часов. Хотя обучение по некоторым медицинским специальностям может занять и 2000 часов. После выпуска учащийся получает диплом о профпереподготовке установленного образца.

Какие направления доступны

В России доступны практически все направления для переобучения. Самые популярные из них за последние пять лет:

• психология;
• педагогика;
• юриспруденция;
• лингвистика;
• дизайн;
• строительство;
• экономика и управление;
• информационные технологии;
• интернет-маркетинг;
• бизнес и менеджмент;
• финансовый менеджмент;
• международные отношения и туризм;
• налоги и налогообложение;
• финансы и кредит.

Не всякое направление можно изучить в рамках ДПО на базе высшего образования. Например, нельзя с дипломом психолога переучиться на врача-психиатра. Чтобы стать врачом, нужно сначала отучиться в медвузе и ординатуре. Только специалист с медобразованием имеет возможность получить квалификацию психиатра на базе курса ДПО. Зато психолог может получить дополнительную квалификацию по педагогике, юриспруденции или выбрать другую профессию, не требующую овладения специальными навыками.

Если желание связать жизнь с медициной велико, можно поступить на переподготовку на «Сестринское дело» или выбрать другую медицинскую специальность, для которой не нужно вузовское медобразование.

5 отличий второго высшего от профпереподготовки

Получение второго высшего и обучение на курсе переподготовки – два разных процесса.

1. Срок обучения. Чтобы освоить дистанционную программупрофобразования, понадобится от 250 до 2000 академических часов. Получение второй специальности в вузе займет два–три года учебы с последующей защитой дипломной работы.
2. Дисциплины. В обоих случаях студент не погружается в изучение общеобразовательных дисциплин, таких как философия, этика, социология, логика. Он фокусируется на знаниях, которые ему непосредственно пригодятся на работе. На втором высшем студенты глубоко изучают историю развития отрасли и взаимосвязанные со специальностью дисциплины. Программыдопобразования включают в себя только базовые дисциплины, непосредственно относящиеся к профессии.
3. Учреждение. Второе высшее можно получить только в вузе. Услуги по профпереобучению оказывают и средне-специальные учреждения.
4. Требования. Второе вузовское образование доступно специалистам, ранее отучившимся в вузе. Записаться на программупрофпереподготовки могут выпускникикак университетов, так и средне-специальных образовательных учреждений.
5. Документ. После ДПО выпускнику вручают диплом о профпереподготовке, а после университета –дипломбакалавра, специалиста или магистра.

Если специалист понимает специфику новой деятельности, но для работы ему не хватает корочки, ему лучше отдать предпочтение дополнительному образованию. Если работа связана с опасным производством или профессиональными рисками, то лучше сделать выбор в пользу второго высшего.

Вступительные испытания

Достоинство ДПО в том, что поступающему не нужно сдавать ЕГЭ. Достаточно написать заявление и приложить документы. Правила приема в некоторых госуниверситетах требуют сдачу письменного экзамена по русскому языку или по одному из профильных предметов. Но таких учебных заведений не так много.

Где пройти переподготовку в Москве

Переподготовку в Москве можно пройти в:

• Межрегиональном центре допобразования;
• Центре МГУТУ;
• Школе психологии;
• Медуниверситете инноваций и развития.

Несмотря на кажущуюся доступность получения дополнительного образования в госучреждении, у учащегося могут появиться трудности, связанные:

• с оплатой;
• отказом учебного заведения предоставить возможность проходить курс в дистанционной форме;
• устаревшими учебными материалами;
• скучно выстроенным образовательным процессом.

Поэтому специалисты, которые желают сэкономить деньги и пройти профпереподготовку в комфортных условиях, идут учиться в «Синергию». Это частный университет с государственной аккредитацией. Стоимость учебы здесь ниже, и учащийся получает такой же документ, как если бы он учился в госучреждении. Формат обучения дистанционный.

Адреса поступления:

Москва, Измайловский вал, д. 2, м. Семеновская

Москва, Ленинградский пр., д. 80Г, м. Сокол

Время работы:

Пн-пт: 09.00-20.00Сб-Вс: 10.00-17.00

+7 495 800–10–018 800 100–00–11
(звоните круглосуточно)

Полное руководство по переобучению моделей

Модели машинного обучения обучаются путем изучения соответствия между набором входных функций и выходной целью. Как правило, это сопоставление изучается путем оптимизации некоторой функции стоимости, чтобы минимизировать ошибку прогнозирования. Как только оптимальная модель найдена, она выпускается в открытый доступ с целью создания точных прогнозов для будущих невидимых данных. В зависимости от проблемы эти новые примеры данных могут быть созданы на основе взаимодействия с пользователем, запланированных процессов или запросов от других программных систем. В идеале мы надеемся, что наши модели предсказывают эти будущие случаи так же точно, как и данные, используемые в процессе обучения.

Когда мы развертываем модели в рабочей среде и ожидаем, что будет наблюдаться частота ошибок, подобная той, которую мы наблюдали при оценке модели, мы делаем предположение, что будущие данные будут аналогичны прошлым наблюдаемым данным. В частности, мы предполагаем, что распределения признаков и целей останутся довольно постоянными. Но это предположение обычно не выполняется. Тенденции меняются со временем, интересы людей меняются в зависимости от времени года, а фондовый рынок то падает, то падает. И поэтому наши модели должны адаптироваться.

Поскольку мы ожидаем, что мир со временем изменится, развертывание модели следует рассматривать как непрерывный процесс. Вместо того, чтобы развернуть модель один раз и перейти к другому проекту, специалистам по машинному обучению необходимо переобучить свои модели, если они обнаружат, что распределения данных значительно отклонились от исходного набора данных для обучения. Эту концепцию, известную как дрейф модели , можно смягчить, но она связана с дополнительными накладными расходами в виде инфраструктуры мониторинга, надзора и процессов.

В этом посте я хотел бы определить дрейф модели и обсудить стратегии выявления и отслеживания дрейфа модели с течением времени. Затем я опишу, как использовать переобучение модели, чтобы смягчить влияние дрейфа на эффективность прогнозирования, и предложу, как часто следует переобучать модели. Наконец, я упомяну несколько способов включить переобучение модели. В конце этого поста вы можете скачать мое краткое руководство по переобучению модели, чтобы узнать, как переобучить вашу модель и самостоятельно настроить автоматизированный конвейер переобучения!

Что такое модельный дрифт?

Дрейф модели относится к ухудшению прогностических характеристик модели с течением времени из-за изменения среды, нарушающего допущения модели. Дрейф модели — это немного неправильное название, потому что меняется не сама модель, а среда, в которой она работает. По этой причине термин «дрейф концепций» на самом деле может быть более подходящим названием, но оба термина описывают одно и то же явление.

Обратите внимание, что мое определение дрейфа модели фактически включает несколько различных переменных, которые могут изменяться. Прогностическая производительность будет ухудшаться, она будет ухудшаться в течение некоторого периода времени и с определенной скоростью, и это ухудшение будет происходить из-за изменений в окружающей среде, которые нарушают допущения моделирования. Каждую из этих переменных следует учитывать при определении того, как диагностировать дрейф модели и как исправить его путем переобучения модели.

Как вы отслеживаете дрейф модели?

Существует множество методов выявления и отслеживания дрейфа модели. Прежде чем описать несколько стратегий, позвольте мне отметить, что универсального подхода не существует. Разные проблемы моделирования требуют разных решений, и у вас может не быть инфраструктуры или ресурсов, чтобы воспользоваться преимуществами определенных стратегий.

Ухудшение производительности модели

Самый прямой способ определить дрейф модели — это явно определить, что прогностическая эффективность ухудшилась, и количественно оценить это снижение. Измерение точности развернутой модели на оперативных данных — общеизвестно сложная проблема. Эта трудность возникает отчасти из-за того, что нам нужен доступ как к предсказаниям, сгенерированным моделью, так и к наземному сигналу истинности. Это может быть невозможно по ряду причин, в том числе:

• Прогнозы не были сохранены после их создания. Не позволяй этому быть тобой.
• Прогнозы сохранены, но вы не можете получить доступ к меткам истинности.
• Прогнозы и метки доступны, но их нельзя объединить.

Даже если прогнозы и метки можно объединить, может пройти некоторое время, прежде чем метки станут доступны. Рассмотрим модель финансового прогнозирования, которая предсказывает доход в следующем квартале. В этом случае фактический доход не будет наблюдаться до истечения этого квартала, поэтому вы не сможете количественно оценить, насколько хорошо модель работала до этого момента. В таких задачах прогнозирования заполнение прогнозов, т. е. модели обучения, которые были развернуты в прошлом и генерируют прогнозы на основе прошлых исторических данных, могут дать вам представление о скорости, с которой производительность модели будет падать.

Как отмечает Джош Уиллс, одна из самых важных вещей, которую вы можете сделать перед развертыванием модели, — это попытаться понять дрейф модели в автономной среде. Исследователи данных должны стремиться ответить на вопрос: «Если я обучу модель, используя этот набор функций, на данных шестимесячной давности и применю ее к данным, которые я сгенерировал сегодня, насколько хуже будет эта модель, чем та, которую я создал без обучения». от данных месячной давности и примененных к сегодняшнему дню?». Выполнение этого анализа в автономном режиме позволяет оценить скорость падения производительности модели и частоту повторного обучения. Конечно, этот подход основан на наличии машины времени для доступа к данным, которые были в реальном времени в любой момент в прошлом.

Изучение распределений признаков обучающих и текущих данных

Поскольку ожидается, что производительность модели ухудшится по мере того, как распределения входных признаков отклоняются от распределений обучающих данных, сравнение этих распределений — отличный способ сделать вывод о дрейфе модели. Обратите внимание, что я сказал, что выводит , а не обнаруживает дрейф модели , поскольку мы не наблюдаем фактического снижения эффективности прогнозирования, а скорее ожидаем, что снижение произойдет. Это может быть невероятно полезно в тех случаях, когда вы не можете наблюдать настоящую правду из-за характера процесса генерации данных.

Для каждой функции необходимо отслеживать различные параметры, включая:

• диапазон возможных значений
• гистограмм значений
• , принимает ли функция значения NULL, и если да, то количество ожидаемых значений NULL

Возможность быстрого мониторинга этих распределений с помощью информационных панелей — шаг в правильном направлении. Этого можно добиться еще больше, автоматически отслеживая перекос в обучении и выдавая предупреждения, когда расхождение в функциях является значительным.

Изучение корреляций между функциями

Многие модели предполагают, что отношения между функциями должны оставаться фиксированными. Поэтому вы также захотите отслеживать парные корреляции между отдельными входными функциями. Как упоминалось в разделе «Каков ваш результат теста ML?» Рубрика для производственных систем ML, вы можете сделать это:

• мониторинг коэффициентов корреляции между функциями
• обучающие модели с одной или двумя функциями
• обучение набора моделей, у каждой из которых удалена одна из функций

Изучение целевых распределений

Если распределения целевых переменных значительно изменяются, прогнозирующая эффективность модели почти наверняка ухудшится. Авторы книги «Машинное обучение: кредитная карта технического долга с высокими процентами» заявляют, что простой и полезной диагностикой является отслеживание целевого распределения. Отклонения этой метрики от обучающих данных могут означать, что пришло время переоценить качество вашей развернутой модели. Но имейте в виду, что «это ни в коем случае не исчерпывающий тест, поскольку ему может соответствовать нулевая модель, которая просто предсказывает средние значения вхождений меток без учета входных признаков».

Что именно мы подразумеваем под переобучением модели?

Иногда переобучение модели кажется перегруженным оператором. Относится ли это только к поиску новых параметров существующей архитектуры модели? Как насчет изменения пространства поиска гиперпараметров? Как насчет поиска по разным типам моделей (RandomForest, SVM и т. д.)? Можем ли мы включить новые функции или исключить ранее использовавшиеся функции? Все это хорошие вопросы, и очень важно быть как можно более четкими. Чтобы ответить на эти вопросы, важно подумать непосредственно о проблеме, которую мы пытаемся решить. То есть уменьшение влияния дрейфа модели на наши развернутые модели.

Перед развертыванием модели для производства данных ученые проходят тщательный процесс проверки модели, который включает:

• Сбор наборов данных — сбор наборов данных из разных источников, таких как разные базы данных.
• Feature Engineering — получение столбцов из необработанных данных, которые улучшат прогнозную производительность.
• Выбор модели — сравнение различных алгоритмов обучения.
• Оценка ошибки — оптимизация в пространстве поиска для поиска наилучшей модели и оценки ее ошибки обобщения.

Результатом этого процесса является лучших моделей, которые затем внедряются в производство. Поскольку дрейф модели конкретно относится к предсказательной эффективности выбранной модели, ухудшающейся из-за изменения распределений признаков/целевых данных, переобучение модели должно , а не приводить к другому процессу создания модели. Скорее переобучение просто относится к повторному запуску процесса, который сгенерировал ранее выбранную модель, на новом обучающем наборе данных. Функции, алгоритм модели и пространство поиска гиперпараметров должны остаться прежними. Один из способов думать об этом состоит в том, что переобучение не требует каких-либо изменений кода. Это включает только изменение набора обучающих данных.

Это не означает, что будущие итерации модели не должны включать новые функции или учитывать дополнительные типы/архитектуры алгоритмов. Я просто говорю, что эти типы изменений приводят к совершенно другому типу модели, которую вы должны протестировать по-другому перед развертыванием в рабочей среде. В зависимости от зрелости вашей организации машинного обучения такие изменения в идеале можно было бы вводить с помощью A/B-тестов, которые измеряют влияние новой модели на заранее определенные интересующие показатели, такие как вовлеченность или удержание пользователей.

Как часто следует переобучать модель

До сих пор мы обсуждали, что такое дрейф модели, и несколько способов его определения. Таким образом, возникает вопрос, как мы можем это исправить? Если прогностическая эффективность модели упала из-за изменений в окружающей среде, решение состоит в том, чтобы переобучить модель на новом обучающем наборе, отражающем текущую реальность. Как часто вы должны переобучать свою модель? И как вы определяете свой новый тренировочный набор? Как и в случае с самыми трудными вопросами, ответ таков: зависит от . Но от чего это зависит?

Иногда сама постановка задачи предлагает, когда переобучить модель. Например, предположим, что вы работаете в приемной комиссии университета и перед вами стоит задача построить модель отсева студентов, которая прогнозирует, вернется ли студент в следующем семестре. Эта модель будет использоваться для создания прогнозов для текущей когорты студентов сразу после промежуточных семестров. Учащиеся, которым грозит отток, будут автоматически зачислены на репетиторство или какое-либо другое подобное вмешательство.

Давайте подумаем о временном горизонте такой модели. Поскольку мы генерируем прогнозы в пакетном режиме один раз в семестр, нет смысла переобучать модель чаще, чем это, потому что у нас не будет доступа к каким-либо новым обучающим данным. Поэтому мы можем выбрать переобучение нашей модели в начале каждого семестра, после того как мы увидим, какие студенты из предыдущего семестра отчислились. Это пример графика периодической переподготовки . Часто бывает полезно начать с этой простой стратегии, но вам нужно будет точно определить, как часто вам нужно будет переучиваться. Быстро меняющиеся тренировочные комплексы могут потребовать от вас тренироваться ежедневно или еженедельно. Более медленные переменные распределения могут потребовать ежемесячной или ежегодной переобучения.

Если у вашей команды есть инфраструктура для мониторинга метрик, описанных в предыдущем разделе, может иметь смысл автоматизировать управление отклонением модели. Это решение требует отслеживания диагностики, а затем инициирования переобучения модели, когда диагностика на оперативных данных расходится с диагностикой обучающих данных. Но этот подход не лишен собственных проблем. Во-первых, вам нужно определить порог расхождения, который вызовет переобучение модели. Если порог слишком низок, вы рискуете слишком часто проводить переобучение, что может привести к высоким затратам, связанным со стоимостью вычислений. Если порог слишком высок, вы рискуете недостаточно часто проводить переобучение, что приведет к созданию неоптимальных моделей в производственной среде. Это сложнее, чем кажется, потому что вам предстоит определить, сколько новых обучающих данных необходимо собрать, чтобы представить новое состояние мира. Даже если мир изменился, нет смысла заменять существующую модель моделью, размер обучающей выборки которой слишком мал.

Необходимо принять особые меры, если ваша модель работает в неблагоприятных условиях. В таких настройках, как обнаружение мошенничества, злоумышленник изменяет распределение данных, чтобы получить прибыль. Этим проблемам может помочь онлайн-обучение, когда модель обновляется постепенно по мере поступления новых данных.

Как переобучить модель?

И последнее, но не менее важное: давайте обсудим шаги, которые необходимо учитывать для успешного переобучения модели.

Во-первых, подход, который вы используете для переобучения своей модели машинному обучению, напрямую связан с тем, как часто вы решаете переобучить.

Во-вторых, если вы решите периодически переобучать свою модель, вполне достаточно пакетного переобучения. Этот подход включает периодическое планирование процессов обучения модели с использованием планировщика заданий, такого как Jenkins или Kubernetes CronJobs.

В-третьих, если вы автоматизировали обнаружение дрейфа модели, то имеет смысл запускать переобучение модели при обнаружении дрейфа. Например, у вас могут быть периодические задания, которые сравнивают распределения признаков наборов оперативных данных с распределениями обучающих данных. При обнаружении значительного отклонения система может автоматически запланировать переобучение модели для автоматического развертывания новой модели. Опять же, это можно выполнить с помощью планировщика заданий, такого как Jenkins, или с помощью заданий Kubernetes.

Наконец, может иметь смысл использовать методы онлайн-обучения для обновления модели, которая в настоящее время находится в производстве. Этот подход основан на «заполнении» новой модели моделью, развернутой в данный момент. По мере поступления новых данных параметры модели обновляются новыми обучающими данными.

Заключение

Ожидается, что прогностическая эффективность модели машинного обучения снизится, как только модель будет развернута в рабочей среде. По этой причине крайне важно, чтобы специалисты-практики подготовились к снижению производительности, настроив решения для мониторинга и рабочие процессы, специфичные для машинного обучения, чтобы обеспечить переобучение моделей. Хотя частота повторного обучения будет варьироваться от проблемы к проблеме, инженеры машинного обучения могут начать с простой стратегии, которая периодически переобучает модели по мере поступления новых данных и переходит к более сложным процессам, которые количественно оценивают дрейф модели и реагируют на него.

Теперь, когда вы знаете, почему переобучение модели важно, вам может быть интересно, как настроить и автоматизировать переобучение. Я составил руководство, показывающее точные шаги, которые необходимо выполнить, чтобы автоматизировать переобучение модели. Зарегистрируйтесь ниже, чтобы загрузить краткое руководство!

Ссылки

• Повторное обучение моделей на новых данных
• Следует ли повторно обучать модель машинного обучения каждый раз, когда доступны новые наблюдения?
• МАШИННОЕ ОБУЧЕНИЕ И АВТОМАТИЗИРОВАННОЕ ПЕРЕОБУЧЕНИЕ МОДЕЛЕЙ С ПОМОЩЬЮ SAGEMAKER
• Нежное введение в концептуальный дрейф в машинном обучении
• Извлеченные уроки превращения моделей машинного обучения в реальные продукты и услуги
• Какой у вас результат теста ML? Рубрика для производственных систем машинного обучения
• Машинное обучение: высокопроцентная кредитная карта технического долга
• Извлеченные уроки превращения моделей машинного обучения в реальные продукты и услуги

Руководство по переобучению модели машинного обучения | Види Чу

И узнайте больше о стратегиях переобучения

Фото Арона Visuals на Unsplash

Вы можете найти множество руководств, которые помогут вам построить сквозные конвейеры машинного обучения. Но, как правило, в этих руководствах мало упоминается о том, как поддерживать качество прогнозов, генерируемых системами машинного обучения.

Поддержание прогностической способности развернутой модели считается более сложной задачей, чем построение модели машинного обучения с нуля, и поэтому это тема нашего сегодняшнего обсуждения.

Но прежде чем приступить к подробностям «переобучение модели», давайте сначала кратко рассмотрим «обучение модели» : независимых признаков и целевой переменной.

Наилучшая изученная зависимость рассчитывается на основе некоторой оценочной метрики для минимизации ошибки прогнозов в наборе данных проверки

Затем эта наилучшая изученная модель развертывается в рабочей среде с расчетом на то, что она будет продолжать делать точные прогнозы для поступающих невидимых данных в течение как можно дольше

Теперь давайте подчеркнем, что мы подразумеваем под «как можно дольше»?

Никогда не бывает так, чтобы окончательная модель машинного обучения, развернутая один раз, навсегда избавила вас от беспокойства и продолжала давать точные прогнозы.

Почему? Давайте разберемся ниже:

1. Дрейф модели:

Чтобы понять это, давайте вспомним одно из самых важных предположений в моделировании ML — обучающий и тестовый наборы данных должны принадлежать одному и тому же распределению. И модель будет хорошей, если новые данные будут аналогичны данным, наблюдаемым в прошлом, на которых модель обучалась.

Итак, мы понимаем, что если распределение тестовых данных отличается от распределения данных поезда, модель не будет работать. Но каковы могут быть возможные причины такого отклонения. Ну, это может быть связано со многими причинами в зависимости от бизнес-кейса, например. изменение потребительских предпочтений, быстро меняющееся конкурентное пространство, географические сдвиги, экономические условия и т. д.

Следовательно, дрейфующее распределение данных требует непрерывного процесса периодической проверки достоверности старой модели. Короче говоря, очень важно постоянно обновлять вашу модель машинного обучения; но главное когда? Мы обсудим это и многое другое по мере продвижения, так что следите за обновлениями.

2. Надежность

Люди/организации, на которых влияют результаты моделей машинного обучения, могут преднамеренно изменить свою реакцию, чтобы отправить ложные данные в модель, тем самым избегая воздействия прогнозов модели. Например, такие модели, как обнаружение мошенничества, кибербезопасность и т. д., получают манипулируемые и искаженные входные данные, что приводит к тому, что модель выдает ошибочно классифицированные прогнозы. Такой тип противников также снижает производительность модели.

3. Когда наземная истина недоступна во время обучения модели

В большинстве моделей машинного обучения метки наземной истины недоступны для обучения модели. Например, целевая переменная, которая фиксирует ответ конечного пользователя, неизвестна. В этом случае лучше всего будет имитировать действия пользователя на основе определенного набора правил, вытекающих из понимания бизнеса, или использовать набор данных с открытым исходным кодом для инициации обучения модели. Но эта модель может не обязательно представлять фактические данные и, следовательно, не будет работать хорошо до периода выработки, когда она начнет выбирать (или изучать) истинные действия конечного пользователя.

Что входит в программу переобучения моделей?

• Обновление параметров модели?
• Повторная итерация в пространстве поиска гиперпараметров
• Повторный запуск конвейера выбора модели через пул кандидатов алгоритмов
• Если это также не повысит производительность модели, тогда нам нужно ввести в модель новые функции, может быть переделать разработку функций и конвейер выбора?

В идеале переобучение включает в себя запуск всего существующего конвейера с новыми данными, вот и все. Он не требует каких-либо изменений кода или повторной сборки конвейера.

Однако, если вы в конечном итоге изучите новый алгоритм или функцию, которая могла быть недоступна во время обучения предыдущей модели, их включение при развертывании повторно обученной модели еще больше повысит точность модели.

Как измерить снижение производительности модели?

В предположении, что прогнозы хранятся и сопоставляются с наземными значениями истинности, снижение (или нет) рассчитывается на постоянной основе для оценки дрейфа.

Но что, если горизонт прогнозирования находится дальше в будущем, и мы не можем ждать, пока не будет достигнута метка истинности, чтобы оценить качество модели. Что ж, в таком случае мы можем примерно оценить окно переобучения по бэк-тестированию. Это включает в себя использование наземных меток правды и прогнозов на основе исторических данных для оценки временных рамок, вокруг которых точность начинает снижаться.

По сути, все действия по обнаружению дрейфа модели сводятся к выводу, поступают ли два набора данных (обучающий и тестовый) из одного и того же распределения или производительность упала ниже допустимого диапазона.

Давайте рассмотрим некоторые способы оценки дрейфа распределения:

• Гистограмма: Быстрый способ визуализировать сравнение — нарисовать гистограмму — степень перекрытия между двумя гистограммами дает меру сходство.
• Статистика K-S: Чтобы проверить, принадлежат ли предстоящие новые данные к тому же распределению, что и обучающие данные.
• Целевое распределение: Одним из быстрых способов проверить постоянную предсказательную силу модели ML является изучение распределения целевой переменной. Например, если ваш тренировочный набор данных несбалансирован с 99% данных относятся к классу 1, а оставшийся 1% — к классу 0. И, прогнозы отражают, что это распределение составляет около 90–10%, поэтому его следует рассматривать как предупреждение для дальнейшего изучения.
• Корреляция: Мониторинг парных корреляций между отдельными предикторами поможет выявить основной дрейф переподготовка может происходить даже ежедневно.
• Автоматический мониторинг показателей производительности для определения триггерной точки повторного обучения более эффективен по сравнению с описанным выше. Вам необходимо определить порог, указывающий приемлемый уровень расхождения в производительности, чтобы начать переобучение.