Лектор: Елена Кириленко

Ассистенты:

Кафедра дискретной математики.

Таблица результатов

Правила и система оценивания

Оставить анонимный отзыв


Содержание

Материалы занятий

Занятие 1 (1.03). Введение в машинное обучение, работа с признаками, кросс-валидация, подбор парметров, Pipeline.

Презентация

Стратегии проведения кросс-валидации: cross_val.ipynb, cross_val.pdf

Поиск по сетке: grid_search.ipynb, grid_search.pdf

Pipeline : Pipelines.ipynb, Pipelines.pdf

Занятие 2 (6.03). Композиции алгоритмов. Усреднение, взвешенное усреднение, ранговое усреднение. Беггинг, RSM. Бустинги : AdaBoost и градиентный бустинг. Stacking, StackNet.

Презентация

XGBoost & CatBoost : gradient_boosting_tutorial.ipynb, gradient_boosting_tutorial.pdf

Занятие 3 (27.03). Нейронные сети.
Нейрон, нейронная сеть, Backpropagation, SGD, продвинутые методы оптимизации (Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam), Dropout / Inverted Dropout, BatchNormalization, Сверточные сети, Pooling.

Презентация

Занятие 4 (17.04). PyTorch.
pytorch_tutorial.ipynb

Занятие 5 (24.04). Векторные представления слов, Рекуррентные сети.
Презентация

Задания

Задание 1 : hw1.ipynb, hw1.pdf
Дедлайн 15.03 23:59.

Данные : bikes_rent.csv, parkinsons_updrs_train.csv, parkinsons_updrs_test.csv.

Задание 2 : hw2.pdf
Дедлайн 9.04 23:59 в Kaggle, 11.04 23:59 по отправке решения.

Данные : houses_train.csv, houses_test.csv.

Задание 3 : hw3.pdf, hw3.tex
Дедлайн 17.04 17:05.
Решение нужно оправить либо на почту pdf-файлом, либо сдать на листочке в начале лекции 17 апреля в 17:05.

Задание 4 : Задание состоит из двух частей.
Векторные представления: homework_embeddings.ipynb, homework_embeddings.pdf
Рекуррентные сети: homework_rnn.ipynb, homework_rnn.pdf
Данные : test.tsv

Дедлайн 21.05 23:59.

Литература и полезные ссылки

  • Elements of Statistical Learning [Trevor Hastie, Robert Tibshirani, Jerome Friedman]

  • Pattern Recognition and Machine Learning [Bishop C. M.]

  • Deep Learning: A Practitioner’s Approach [Josh Patterson, Adam Gibson]

  • Boosting algorithms as gradient descent [L. Mason, J. Baxter, P. Bartlett, M. Frean]

  • Boosting the margin: a new explanation for the effectiveness of voting methods [R. E. Schapire, Y. Freund, W. S. Lee, P. Bartlett]

  • ImageNet Classification with Deep Convolutional Neural Networks [Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton]

  • Convolutional Neural Networks for Sentence Classification [Yoon Kim]

  • The Unreasonable Effectiveness of Recurrent Neural Networks [Andrej Karpathy]

  • LSTM: A Search Space Odyssey [Klaus Greff, Rupesh K. Srivastava, Jan Koutn ́ık, Bas R. Steunebrink, Ju ̈rgen Schmidhuber ]

  • Hands‑On Machine Learning with Scikit‑Learn and TensorFlow: concepts tools and techniques to build intelligent systems [Aurélien Géron]