Лектор: Никита Волков

Семинаристы: Ольга Калиниченко, Роман Логинов, Дмитрий Лунин

Практические занятия: Анастасия Грачева, Елизавета Дахова, Артем Куприянов, София Ожерельева

Кафедра дискретной математики.


Система выставления оценки и правила сдачи заданий

Оставить анонимный отзыв

Распределение по семинаристам и таблица оценок


Содержание

Актуальное расписание

  • Лекция: понедельник 17:30-19:40+, Арктика, поточная аудитория 4 этажа
  • Практическое занятие: среда 18:30-21:00. На некоторых неделях, подробности ниже.
  • Семинар (Дима): четверг 11:30-13:45, 302 КПМ
  • Семинар (Оля): пятница 10:00-12:10, 516 Цифра
  • Семинар (Рома): суббота 13:55-16:10, 516 Цифра

Расписание по средам:

  • 27.11 - практическое занятие, 418 Арктика

Зачетная неделя:

  • 16.12, понедельник - лекция, Арктика, поточная аудитория 4 этажа, 17:30-19:40+
  • 18.12, среда - контрольная, 521 ГК, 18:30-21:00
  • Зачет (Дима): четверг 19.12 10:45-13:45, 302 КПМ
  • Зачет (Оля): пятница 20.12 09:00-12:10, 516 Цифра
  • Зачет (Рома): суббота 21.12 13:55-16:55, 516 Цифра

Экзамены:

  • 10 января, 425 Арктика. Для ПМФ и тех, у кого высокий рейтинг (по желанию)
  • 22 января, 418 Арктика

Лекции

Лекция 1 (02.09). О прикладном потоке. Обзор статистики на примере историй из Мурмурландии. Примеры: парадоксы в поиске, опрос по результатам выборов. 1. Введение в статистику. 1.1 Основная задача математической статистики. 1.2 Вероятностно-статистическая модель. 1.3 Виды подходов к статистике (параметрический и непараметрический, частотный и байесовский).

Презентация

Лекция 2 (09.09). 2. Точечные оценки параметров. 2.1 Статистики и оценки, примеры статистик. 2.2 Свойства оценок - несмещенность, состоятельность, сильная состоятельность, асимптотическая нормальность. Практический смысл свойств. Примеры. 2.3 Наследование свойств. Теорема о наследовании сходимостей, пример. Лемма Слуцкого, теорема о производной, пример.

Лекция 3 (16.09). Дельта-метод, пример. Доказательства теорем п. 2.3 (теорема о наследовании сходимостей, лемма Слуцкого). 2.4 Методы нахождения оценок - метод моментов, метод максимального правдоподобия, примеры. Свойства методов.

Условия регулярности

Лекция 4 (23.09). Задача про гамма-излучение. Метод выборочных квантилей, асимптотическая нормальность выборочной квантили. 2.5 Достаточные статистики, критерий факторизации Неймана-Фишера.

Распределения выборочных средних: ipynb, pdf

Лекция 5 (30.09). 2.6 Экспоненциальный класс распределений, естественная параметризация. Достаточные статистики для семейства из экспоненциального класса, существование достаточности статистики фиксированной размерности, их математическое ожидание и дисперсия. Существование и единственность ОМП для семейства из экспоненциального класса. Выполнимость условий регулярности. 2.7 Сравнение оценок. Функция потерь и функция риска, MSE и MAE, примеры. Подходы к сравнению оценок: равномерный, байесовский, минимаксный, асимптотический. Bias-variance разложение. Асимптотическая эффективность.

Лекция 6 (07.10). 2.8 Метод Ньютона и его применение для решения уравнения правдоподобия. Одношаговые оценки и их эквивалентность ОМП. Одношаговая оценка для модели Коши со сдвигом. 2.9 Робастность, асимптотическая толерантность. Робастные оценки: усеченное среднее и медиана средних Уолша, их асимптотическая толерантность и асимптотическая эффективность по отношению к выборочному среднему на всем классе гладких симметричных распредедений и в частных случаях. 3.1 Доверительные интервалы и доверительные области.

Лекция 7 (14.10). Метод центральной функции, пример. Асимптотические доверительные интервалы, метод построения, пример. 3.2 Точные доверительные интервалы для параметров в нормальной модели (4 вида). Распределения хи-квадрат и Стьюдента, их свойства. Теорема о разложении гауссовского вектора, следствие для выборочного среднего и выборочной дисперсии в нормальной модели.

Презентация

Лекция 8 (21.10). 3.3 Байесовский подход к статистике: напоминание теоремы Байеса в частном и общем случаях, математическая модель, виды байесовских оценок, наилучшие оценки в байесовском подходе, сравнение с частотным подходом. 3.4 Недостатки байесовского подхода, сопряженные распределения, пример. 4.1 Непараметрический подход. Эмпирическое распределение, его свойства. Эмпирическая функция распределения, теорема Гливенко-Кантелли, ее обощения, условие Вапника-Червоненкиса. Теорема Колмогорова-Смирнова. 4.2 Метод подстановки, примеры.

Лекция 9 (28.10). 4.3 Метод бутстрепа. Пример про дисперсию оценки коэффициента асимметрии. Описание метода бутстрепа, пример про оценку дисперсии статистики. Бутстрепные доверительные интервалы. 4.4 Ядерные оценки плотности, виды ядер, связь с эмпирической функцией распределения, сходимость оценки плотности. Оптимальная ширина ядра и оптимальное ядро, подбор оптимальной ширины ядра по выборке. 5.1 Проверка статистических гипотез: гипотезы и критерии, варианты ответов, связь с презумпцией невиновности.

Презентация

Гипотезы и критерии

Звериный бутстреп: ipynb, pdf

Лекция 10 (6.11). Ошибки I и II рода, уровень значимости критерия, мощность критерия, пример. 5.2 Критерий Вальда, его разновидности и особенности, функция мощности, пример. 5.3 Критерии, основанные на отношении правдоподобия. Асимптотический критерий (с предельным распределением хи-квадрат). Лемма Неймана-Пирсона для построения наиболее мощного критерия в случае простых гипотез. Равномерно наиболее мощные критерии, теорема о монотонном отношении правдоподобия, пример.

Гипотезы и критерии (продолжение)

Лекция 11 (11.11). 5.4 Пример проверки гипотез в задаче исследовании эффективности нового лекарства. p-value – определение в частном и общем случаях. Распределение p-value при справедливости основной гипотезы. Что не является p-value, пример. 5.5 Поведение критического уровня критерия для разных размеров выборки, следствия. Практическая значимость результата, примеры. Определение необходимого размера выборки на этапе планирования эксперимента. 5.6 Множественная проверка гипотез, постановка задачи, пример. Контроль FWER.

Презентация

Лекция 12 (ПЛАН на 18.11). Множественная проверка гипотез, продолжение. Критерии согласия.

Семинары

Семинар 1. (12-14.09) Повторение теории вероятностей: вероятностное пространство, функция распределения и плотность, независимость, математическое ожидание и дисперсия, сходимости стучайных векторов, УЗБЧ, ЦПТ. Методы численного вычисления интегралов: метод прямоугольников и метод Монте-Карло.

Семинар 2. (19-21.09) Оценки и их свойства: несмещенность, состоятельность, сильная состоятельность, асимптотическая нормальность, практический смысл свойств оценок, задачи. Наследование свойств оценок, задачи.

Семинар 3. (26-28.09) Метод моментов. Метод максимального правдоподобия и его свойства.

Семинар 4. (03-05.10) Сравнение оценок. Подходы к сравнению: равномерный, байесовский, минимаксный. Bias-variance разложение. Оценки в схеме Бернулли: минимаксность оценки Ходжеса-Лемана и ее сравнение c выборочным средним.

Семинар 5. (10-12.10) Достаточные статистики. Робастные оценки.

Семинар 6. (17-19.10) Доверительные интервалы. Метод центральной функции, метод построения асимптотических доверительных интервалов.

Семинар 7. (24-26.10) Байесовский подход.

Семинар 8. (31.10-02.11) Непараметрический подход. Эмпирическое распределение и метод подстановки. Принцип бутстрепа, его применимость, необходимое количество бутстрепных выборок.

Семинар 9. (07.11-09.11) Гипотезы и критерии, типы ошибок. Критерий Вальда, пример. Критерии отношения правдоподобия, примеры.

Семинар 10. (ПЛАН на 14.11-16.11) Реальный уровень значимости критерия, необходимое количество семплирований. Примеры p-value. Множественная проверка гипотез: общее описание, методы Шидака и Шидака-Холма.

Практические занятия

Занятие 1 (11.09). Библиотеки numpy, scipy.stats, matplotlib.

Правила оформления практических работ

Задание: ipynb, pdf

Решение: ipynb, pdf

numpy+scipy.stats: ipynb, pdf

matplotlib: ipynb, pdf

Занятие 2 (18.09). Библиотекa pandas.

pandas: ipynb, pdf, example.csv

Задание: ipynb, pdf, cat_exam_data.csv

Решение: ipynb, pdf

Занятие 3 (16.10). Оперции в pandas, библиотека seaborn.

Операции в pandas: ipynb, pdf.

seaborn: ipynb, pdf.

Задание: ipynb, pdf, data.zip

Решение: ipynb, pdf.

Занятие 4 (23.10). Разбор практических домашних заданий. Виджеты в Jupyter-ноутбуках.

ipywidgets: ipynb, pdf.

Теоретические задания

Задание 1. Тип задания O1. Дедлайн 19.09 в 11:00 утра. Для учета задач нужно заполнить опрос. Письменную задачу (см. номер в таблице) необходимо прислать на почту.

Задание 2. Тип задания O1. Дедлайн 26.09 в 11:00 утра. Для учета задач нужно заполнить опрос. Письменную задачу (см. номер в таблице) необходимо прислать на почту.

Задание 3. Тип задания O1. Дедлайн 03.10 в 11:00 утра. Для учета задач нужно заполнить опрос. Письменную задачу (см. номер в таблице) необходимо прислать на почту.

Задание 4. Тип задания O3. Дедлайн 10.10 в 11:00 утра. Для учета задач нужно заполнить опрос. Письменную задачу (см. номер в таблице) необходимо прислать на почту.

Задание 5. Тип задания O3. Дедлайн 17.10 в 11:00 утра. Для учета задач нужно заполнить опрос. Письменную задачу (см. номер в таблице) необходимо прислать на почту.

Задание 6. Тип задания O1. Дедлайн 24.10 в 11:00 утра. Для учета задач нужно заполнить опрос. Письменную задачу (см. номер в таблице) необходимо прислать на почту.

Задание 7. Тип задания O1. Дедлайн 31.10 в 11:00 утра. Для учета задач нужно заполнить опрос. Письменную задачу (см. номер в таблице) необходимо прислать на почту.

Задание 8. Тип задания O3. Дедлайн 07.11 в 11:00 утра. Для учета задач нужно заполнить опрос. Письменную задачу (см. номер в таблице) необходимо прислать на почту.

Задание 9. Тип задания O1. Дедлайн 14.11 в 11:00 утра. Для учета задач нужно заполнить опрос. Письменную задачу (см. номер в таблице) необходимо прислать на почту.

Практические задания

Задание 1: IPYNB, PDF, netflix_data.csv. Дедлайн 29.09 23:59. Тип задания O3. Задать вопрос по заданию.

Задание 2: IPYNB, PDF. Дедлайн 13.10 23:59. Тип задания O2. Задать вопрос по заданию.

Задание 3: IPYNB, PDF, data, script.py. Дедлайн 31.10 23:59. Задать вопрос по заданию.

Задание 4: IPYNB, PDF, macoma.csv. Дедлайн 16.11 23:59. Задать вопрос по заданию.

Литература и полезные ссылки

  • Лагутин М.Б., Наглядная математическая статистика
  • L. Wasserman, All of Statistics
  • Russell B. Millar, Maximum Likelihood Estimation and Inference
  • Bishop, C.M. Pattern Recognition and Machine Learning
  • Савельев В., Статистика и котики
  • Боровков А.А., Математическая статистика