Специалисты НИУ ВШЭ и Сбера увеличили скорость алгоритма градиентного бустинга

Группа специалистов с факультета компьютерных наук НИУ ВШЭ и Лаборатории искусственного интеллекта Сбера увеличила скорость работы градиентного бустинга — одного из самых эффективных алгоритмов машинного обучения. Предложенный подход позволит быстрее решать задачи классификации и регрессии. Результаты работы были представлены на конференции NeurIPS.

Большинство задач в области анализа данных сводятся к прогнозированию на основе имеющихся данных. Это может быть задача классификации, когда нужно определить принадлежность объекта к определённому классу, или регрессии, когда нужно предсказать числовое значение. В практической работе часто возникают ситуации, где количество классов или размерность регрессии может быть очень большой. 

В таких ситуациях исследователи прибегают к градиентному бустингу — продвинутому алгоритму машинного обучения, который решает задачи классификации и регрессии. Он строит предсказание в виде ансамбля слабых моделей. Из нескольких слабых моделей в итоге получается одна, но эффективная.

Работа алгоритма градиентного бустинга похожа на гольф: чтобы загнать мяч в лунку, гольфист ударяет клюшкой по мячу, каждый раз исходя из предыдущего удара. Перед новым ударом гольфист смотрит на расстояние между мячом и лункой и стремится его сократить. Бустинг строится примерно так же: каждая новая модель стремится сократить ошибку уже построенного ансамбля моделей.

Леонид Иосипой
Один из авторов доклада, эксперт Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ

У градиентного бустинга есть проблема — в классификации с очень большим количеством классов может потребоваться практически бесконечное время на обучение модели. Решая задачу классификации, алгоритм определяет вероятность принадлежности каждого объекта к каждому возможному классу. Таким образом, чем больше классов, на которые делятся объекты, тем больше результатов выдаёт алгоритм. Как следствие, растёт вычислительная сложность этого алгоритма.

Наши исследователи разработали уникальный фреймворк, который позволяет расширить границы применимости градиентного бустинга. Новый алгоритм способен показывать лучшие результаты в целом ряде задач, где ранее применялись только нейросетевые подходы. Предложенный подход строится на сжимании данных перед самым времязатратным этапом — поиском оптимальной структуры дерева. Это решение откроет новые возможности для исследования моделей в области машинного обучения с целью совершенствования технологий с использованием искусственного интеллекта.

Глеб Гусев
Директор Лаборатории искусственного интеллекта Сбера

IQ

June 28, 2023