Лектор: Максим Жуковский

Семинаристы: Александр Матушкин, Максим Савелов, Иван Эрлих

Ассистенты: Александр Захаров, Сергей Миллер, Юрий Яровиков

Кафедра дискретной математики.

Программа курса

Список задач к экзамену

Содержание

Лекции

Лекция 1. Вероятностно-статистическая модель. Наблюдение и выборка. Задача оценивания параметров. Статистики и оценки. Свойства оценок: несмещенность, состоятельность, сильная состоятельность, асимптотическая нормальность. Выборочные характеристики и порядковые статистики. Свойства выборочного среднего. Теорема о наследовании сходимостей.

Лекция 2. Лемма Слуцкого с доказательством и ее применение. Наследование асимптотической нормальности. Многомерный случай. Непараметрическая задача. Эмпирическое распределение и эмпирическая функция распределения. Формулировка теоремы Гливенко-Кантелли.

Лекция 3. Доказательство теоремы Гливенко-Кантелли. Наследование состоятельности. Выборочные квантили. Асимптотическая нормальность выборочной квантили. (Родионов)

Лекция 4. Медиана, выборочная медиана и ее асимптотическая нормальность. Примеры. Взаимосвязь между свойствами оценок. Методы нахождения оценок: метод подстановки, метод моментов и метод максимального правдоподобия. Примеры. Состоятельность и асимптотическая нормальность оценки по методу моментов. Функция плотности в дискретном случае.

Лекция 5. Свойства оценки максимального правдоподобия: экстремальное свойство и состоятельность. Способы сравнения оценок.

Лекция 6. Эффективные оценки. Информация Фишера. Неравенство Рао-Крамера. Пример для бернуллиевского распределения.

Лекция 7. Эффективность и асимптотическая эффективность оценки максимального правдоподобия. Баейсовские оценки: определение, типы байесовских оценок, наилучшая оценка в байесовском подходе, сопряженные распределения, примеры. (Волков)

Лекция 8. Достаточные статистики. Критерий факторизации. Теорема Блэкуэлла-Колмогорова-Рао. Полные статистики. Оптимальные оценки. Алгоритм нахождения оптимальных оценок. Примеры. Теорема об экспоненциальном семействе (пока без доказательства).

Лекция 9. Доверительные интервалы, центральная функция, примеры нахождения. Асимптотические доверительные интервалы, алгоритм нахождения. Задача линейной регрессии. Метод наименьших квадратов. Несмещенность оценки по методу наименьших квадратов.

Лекция 10. Матрица ковариаций оценки по методу наименьших квадратов. Оценка дисперсии. Свойства оценки по методу наименьших квадратов. Гауссовская линейная модель. Хи-квадрат распределение. Теорема об ортогональном разложении гауссовского вектора. Оптимальность оценки. Распределения Стьюдента и Фишера. Доверительные интервалы для параметров гауссовской линейной модели.

Лекция 11. Доверительная область для оценки МНК. Пример нахождения доверительных интервалов для параметров нормального распределения по выборке. Проверка статистических гипотез. Основная гипотеза и альтернатива. Критерий. Ошибка первого и второго рода. Уровень значимости, размер критерия и функция мощности. Равномерно наиболее мощные критерии и несмещенные критерии. Лемма Неймана-Пирсона.

Лекция 12. Монотонное отношение правдоподобий. Другие способы нахождения наиболее мощных критериев. Проверка гипотез в гауссовской линейной модели.

Лекция 13. Состоятельность критерия. Критерий хи-квадрат Пирсона: доказательство сходимости к хи-квадрат закону и доказательство состоятельности. Критерий Колмогорова-Смирнова (без доказательства), удобная формула для вычисления значения статистики.

Лекция 14. Критерий Крамера-Мизеса-Смирнова (без доказательства), удобная формула для вычисления значения статистики. Доказательство полноты статистики для экспоненциального семейства.

Семинары

План семинаров в группе Савелова М.П.

1. Случайные векторы (13.09)

2. Свойства оценок (20.09)

3. Методы нахождения оценок (27.09)

4. Сравнение оценок и эффективные оценки (4.10)

5. Достаточные статистики и оптимальные оценки (11.10)

6. Байесовские оценки (18.10)

7. Доверительные интервалы (25.10)

8. КР (2.11)

9. Линейная регрессия (8.11)

10. Проверка гипотез. Р.н.м.к. (22.11)

11. Проверка гипотез в гауссовской линейной модели (23.11)

12. Критерии согласия (29.11)

13. Коэффициенты корреляции (6.12)

  1. Контрольная работа

Задачи задаются отсюда.


План семинаров в группе Матушкина А.

1. Свойства оценок, без дз. (15.09)

2. Метод максимального правдоподобия, 1.1-1.7, 2.1-2.3. (22.09)

3. Методы нахождения оценок, 2.4-2.10, 3.2. (29.09)

4. Байесовские оценки, все задания к третьей главе. (6.10)

5. Эффективные оценки, задания 4.1 - 4.6. (13.10)

6. Достаточные статистики и оптимальные оценки, все задания к 7 главе. (20.10)

7. Контрольная работа. (27.10)

8. Экспоненциальные семейства. (3.11) На дом задания из листочка

9. Доверительные интервалы. (10.11) На дом все задания к 8 главе.

10. Линейная регрессия. (17.11) На дом все задания к 9 главе.

11. Линейная регрессия и проверка гипотез. (24.11) На дом все задания к 10 главе.

12 Проверка гипотез (01.12). Все задания к главе 11.


План семинаров в группе Эрлиха И.Г.

1. Сходимости векторов (17.09)

2. Свойства оценок (24.09)

3. Методы нахождения оценок (1.10)

4. Квантили и сравнения оценок (8.10) На дом: задачи 3.7, 3.8, 4.1, 4.2.

5. Эффективные оценки (15.10) На дом: задачи 4.4, 4.7, 4.8, 4.9.

6. Доверительные интервалы (22.10) На дом:

7. 29.10 семинара не было.

8. УМО (5.11)

9. Дополнительный семинар по УМО (10.11) На дом: 5.7, 6.2, 7.2, 7.6.

10. Доверительные интервалы (12.11) На дом: 8.3, 8.4, 8.7, 8.5.

11. Линейная регрессия (19.11) На дом: 9.2, 9.3, 9.4, 9.5.

12. Байесовские оценки (26.11) На дом: 14.2, 14.3, 14.4.

13. Проверка статистических гипотез (3.12) На дом: 10.2, 10.3, 10.5, прочитать параграф 11.


Практические задания

Таблица с номерами

Практические задания выполняются на языке Python в Jupyter Notebook. Решения в виде файлов ipynb и pdf (печать в pdf ноутбука через браузер) должны быть присланы без архивов на почту mipt.stats@yandex.ru с темой письма вида: “[base] Имя Фамилия - задание 1”. Дедлайн является строгим - после дедлайна решения не принимаются. Правила оформления работ аналогичны практическому заданию по теории вероятностей (см. презентацию).

В случае обнаружения списываний практических заданий или письменных решений все участники списывания (включая тех, кто предоставил возможность списать) получают штраф 2 балла, которые вычитаются из итогового балла за семестр. Штрафы суммируются. Публикация своих решений в общем доступе (в том числе на github) приравнивается к предоставлении возможности списать и наказывается штрафом. Правило действует и после дедлайна по заданию, поскольку некоторым студентам дедлайн может быть продлен по уважительным причинам.

Обучающие ноутбуки по библиотекам Питона: pandas I, pandas II, seaborn

Задание 1: IPYNB, PDF. Дедлайн 13.10 23:59. Задать вопрос по заданию.

Задание 2: IPYNB, PDF, script.py. Дедлайн 29.10 23:59. Задать вопрос по заданию.

В азадаче 2b вместо метода Ньютона можно применить метод градиентного спуска.

Задание 3: IPYNB, PDF. Дедлайн 27.11 23:59. Задать вопрос по заданию.

Замечание: минимальность длины доверительного интервала нужно доказать.

Задание 4: IPYNB, PDF, ice_cream.txt. Дедлайн 15.12 23:59. Задать вопрос по заданию.