Автоматическое машинное обучение

Автоматическое машинное обучение (AutoML) — процесс автоматизации сквозного процесса применения машинного обучения к задачам реального мира. В типичном приложении машинного обучения пользователь должен применить подходящие методы предварительной обработки данных, конструирования признаков, выделения признаков и выбора признаков, которые делают набор данных пригодным для машинного обучения. После этих шагов работник должен осуществить выбор алгоритма^[англ.] и оптимизацию гиперпараметров для максимизации прогнозируемой производительности конечной модели. Поскольку многие из этих шагов не могут осуществить люди, не будучи экспертами, был предложен подход AutoML как основанное на искусственном интеллекте решение для всё возрастающей необходимости применения машинного обучения^[1][2]. Автоматизация сквозного процесса применения машинного обучения даёт преимущество получения более простых решений, более быстрого создания таких решений и моделей, которые часто превосходят модели, построенные вручную.

Автоматическое машинное обучение может иметь целью различные стадии процесса^[2]:

• автоматическая подготовка данных^[англ.] и сбор и сохранение данных (из сырых данных и разнообразных форматов):
  • автоматическое определение типа столбца, например, булевские данные, дискретные численные данные, непрерывные числовые значения или текст;
  • автоматическое определение смысла столбца; например, цель, метка, поле районирования, числовой признак, текстовая категория или свободный текст;
  • автоматическое обнаружение задач, например, двоичная классификация, регрессия, выделение кластеров или ранжирование;
• автоматическое конструирование признаков:
  • выбор признаков
  • выделение признаков
  • метаобучение^[англ.] и перенос обучения^[англ.]
  • обнаружение и обработка асимметричных данных или отсутствующих значений;
• автоматический выбор модели;
• оптимизация гиперпараметров алгоритма обучения и характеризации;
• автоматический выбор каналов по времени, памяти и ограничений сложности;
• автоматический выбор метрик оценки и процедур валидации;
• автоматическая проверка задач:
  • определение утечки;
  • определение ошибок в конфигурации;
• автоматический анализ полученных результатов;
• пользовательские результаты и визуализация для автоматического машинного обучения

Примечания

1. Thornton C, Hutter F, Hoos HH, Leyton-Brown K (2013). Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms. KDD '13 Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining (англ.). pp. 847—855. Архивировано 28 июля 2020. Дата обращения: 8 октября 2018.
2. Hutter F, Caruana R, Bardenet R, Bilenko M, Guyon I, Kegl B, and Larochelle H. AutoML 2014 @ ICML (англ.) (недоступная ссылка — история). AutoML 2014 Workshop @ ICML. Дата обращения: 28 марта 2018.

Литература

• Kotthoff L., Thornton C., Hoos H. H., Hutter F., Leyton-Brown K. Auto-WEKA 2.0: Automatic model selection and hyperparameter optimization in WEKA // Journal of Machine Learning Research. — 2017.
• Feurer M., Klein A., Eggensperger K., Springenberg J., Blum M., Hutter F. Efficient and Robust Automated Machine Learning // Advances in Neural Information Processing Systems 28 (NIPS 2015). — 2015.
• Olson R. S., Urbanowicz R. J., Andrews P.C., Lavender N. A., Kidd L., Moore J. H. Automating biomedical data science through tree-based pipeline optimization // Proceedings of EvoStar 2016. — 2016. — doi:10.1007/978-3-319-31204-0_9. — arXiv:1601.07925.
• Olson R. S., Bartley N., Urbanowicz R. J., Moore J. H. Evaluation of a Tree-based Pipeline Optimization Tool for Automating Data Science // Proceedings of EvoBIO 2016. — 2016. — doi:10.1145/2908812.2908918. — arXiv:1603.06212.
• Alex G. C. de Sá, Walter José G. S. Pinto, Luiz Otavio V. B. Oliveira, Gisele L. Pappa. RECIPE: A Grammar-Based Framework for Automatically Evolving Classification Pipelines (англ.). — Springer International Publishing, 2017. — (Lecture Notes in Computer Science). — ISBN 9783319556956. — doi:10.1007/978-3-319-55696-3_16.