О курсе

Аннотация

Математическая статистика – одна из наиболее прикладных областей фундаментальной математики. В двух словах главную задачу математической статистики можно описать примерно следующим образом: по ограниченному набору данных (выборка) сделать более-менее содержа- тельные выводы о всех рассматриваемых объектах (генеральная совокупность) в рамках той или иной вероятностно-статистической модели.

В курсе мы затронем статистические методы и принципы их работы, а именно: сначала мы рассмотрим описательные статистики, затем мы перейдем к точечным и интервальным оценкам, далее мы разберем задачу проверки статистических гипотез и изучим различные статистические критерии и в конце затронем линейные статистические модели, их обобщения.

Оценка

Ожидаются лабораторные, мероприятия по решению задач и экзамен (подробности TBA).

Литература

Из относительно простых можно рекомендовать учебник Черновой. К более серьезным источникам можно отнести:

  • Боровков. Математическая статистика (для сильно интересующихся матчастью)
  • Ивченко, Медведев. Введение в математическую статистику (на мой взгляд, близкий к идеальному баланс в изложении самих методов статистики и математической четкости) Иностранная литература:
  • Casella, Berger. Statistical Inference
  • van der Vaart, Asymptotic Statistics
  • Bickel, Doksum. Mathematical statistics
  • Hogg. Introduction to Mathematical Statistics

Перечень ниже стоит рассматривать как дополнение:

  • James, Witten, Hastie, Tibshirani. An introduction to statistical learning (не совсем про статистику, скорее про алгоритмы, в которых используются вероятностно-статистические модели, есть версии для Python или R)
    • Hastie. Tibshirani. Friedman. The elements of statistical learning (более продвинутая версия первой, особенно хорошо рассказана линейная регрессия)
  • Gelman, Carlin, Stern, Dunson, Vehtari, Rubin. Bayesian Data Analysis
  • https://web.ma.utexas.edu/users/mks/statmistakes/StatisticsMistakes.html (хороший материал по ошибкам применения статистических методов)
  • Кобзарь. Прикладная математическая статистика. Для инженеров и научных работников (достаточно подробный справочник по статистическим методам, хоть далеко не новый)
  • Лемешко и др. Статистический анализ данных, моделирование и исследование статистических закономерностей , компьютерный подход (тут есть про оптимальную группировку в критериях типа хи-квадрат)
  • R.A. Maronna, R.D. Martin, V.J. Yohai. Robust Statistics Theory and Methods. Относительно современное достаточно фундаментальная монография, посвященная вопросам робастности, но при этом общее изложение строится “от частного к общему”, плюс математические выкладки вынесены в дополнительные материалы

Лабораторные

Задачи

Набор 1

Будем считать, что \(X_1\), \(\dots\), \(X_n\) – независимые одинаково распределенные случайные величины с функцией распределения \(F\) (данную модель будем называть простейшей выборкой, а \(F\) – теоретической функцией распределения), если не сказано иное.

Кроме того, нам понадобится следующая нотация:

\(\overline{g(X)} = \frac{1}{n}\sum_{i = 1}^ng(X_i)\),

где \(g(.)\) – некоторая функция.

Отсортированный по возрастанию массив \(X_1\), \(\dots\), \(X_n\) будем обозначать как \(X_{(1)}\), \(\dots\), \(X_{(n)}\), то есть \(X_{(1)} \leq \ldots \leq X_{(n)}\) (отсортированная последовательность называется вариационным рядом).

  1. Рассмотрим \(\overline{X}\) – выборочное среднее.
    • Найти приближенное распределение \(\overline{X}\) при достаточно больших \(n\) (что нужно потребовать, чтобы получился содержательный ответ?)
    • При следующих предположениях на \(F\) найти распределение \(\overline{X}\):
      • нормальное распределение с математическим ожиданием \(\mu\) и дисперсией \(\sigma^2\)
      • пуассоновский закон с параметром \(\lambda\)
      • экспоненциальный закон с параметром \(\lambda\)
      • распределение Коши (подсказка из следующего пункта может быть полезной)
      • равномерное распределение на \([-1, 1]\) (вспомните, с помощью каких менее очевидных объектов можно задавать вероятностное распределение)
  2. Рассмотрим \(S_*^2 = \overline{(X - \overline{X})^2}\) – выборочную дисперсию. Найти \(\mathrm{E}\ S_*^2\) и \(\mathrm{Var}\ S_*^2\).
  3. Покажите, что \(S_*^2\) является асимптотической нормальной оценкой величины \(\mathrm{Var} X\)
  4. Упражнение на вариационный ряд:
    • Найти функцию распределения для \(X_{(n)}\)
    • То же самое для \(X_{(1)}\)
    • Аналогично для \(X_{(k)}\) (ответ можно записать через regularized incomplete beta function)
    • Предположим, что существует теоретическая плотность \(p\). Найти плотность для \(X_{(k)}\)
    • Показать, что \(\sqrt{n} f(q_p) \frac{X_{(\lceil n p \rceil)} - q_p}{\sqrt{p(1 - p)}}\) сходится по распределению к стандартному гауссовскому закону, где \(q_p\) – теоретический квантиль порядка \(p\) (единственный данного порядка), \(p \in (0, 1)\), \(f(\cdot)\) – плотность, строго положительная в точке \(q_p\) и гладкая в её окрестности
    • Найти совместную плотность для \((X_{(1)}, \dots, X_{(n)})\)
    • Найти совместную плотность для \((X_{(l)}, X_{(s)})\), \(1 \leq l < s \leq n\)
    • Доказать, что \(n F(X_{(l)})\) и \(n(1 - F(X_{(n + 1 - s)}))\) сходятся по распределению к гамма-распределениям \(\Gamma(l, 1)\) и \(\Gamma(s, 1)\) соответственно, причём предельные случайные величины независимы

Набор 2

Во всех задачах требуется найти оценку методом моментов, вычислить смещение, дисперсию и MSE или найти асимптотическую оценку (в крайнем случае хотя бы написать формулу, по которым это считается). Какими свойствами обладают найденные оценки?

  1. Shifted exponential
  2. \(\Gamma\) (one parameter is unknown, both are unknown)
  3. Биномиальное (one parameter is unknown, both are unknown)
  4. Распределение Коши \(\mathrm{Cauchy}(x_0, 1)\) (тут нужно подумать)
  5. Распределение Парето \(\mathrm{Pareto}(x_0, \beta)\)

Набор 3

Во всех задачах требуется найти оценку методом максимального правдоподобия, вычислить смещение, дисперсию и MSE (или хотя бы написать формулу, по которым это считается). Кроме того, найдите информацию Фишера для регулярных моделей (плюс подумать как регуляроность можно показать). Какими свойствами обладают найденные оценки?

  1. Пуассон
  2. Геометрическое
  3. Равномерное на \([\theta_1, \theta_2]\)
  4. Laplace (loc is unknown, scale is given)
  5. Shifted exponential
  6. Распределение Коши
  7. Распределение Парето \(\mathrm{Pareto}(x_0, \beta)\)

Набор 4

  1. Как с помощью минимума и максимума (первая и \(n\)-ая порядковые статистики) можно построить точный доверительный интервал для равномерного закона на \([0, theta]\)?
  2. Построить асимптотический доверительный интервал для второго момента
  3. Для выборки из экспоненциального распределения (использовать стандартную для нас параметризацию) с помощью асимптотически нормальных оценок (почему и откуда они взялись? \(1 / \overline{X}\) и \(\sqrt{2 / \overline{X^2}}\) построить асимптотический доверительный интервал. Какой доверительный интервал лучше (и что можно понимать под качеством)?
  4. Та же задача для равномерного распределения на \([0,\theta]\), а оценки – \(2\overline{X}\) и \(\sqrt{3\overline{X^2}}\)

Набор 5

Проверять гипотезы через попадание/непопадание статистики критерия в критическую область и подсчёт p-value. Hint: применять критерии, связанные с доверительными интервалами.

  1. Монетка подброшена 4096 раз, причем орел выпал 2000 раз. Сформулировать нулевую и возможные альтернативные гипотезы.
  2. Известно, что по всей сети среднее время между входом покупателя в магазин и оплатой товара равно 19 минутам, стандартное отклонение равно 5.5 минутам. По данным, полученным по 25 случайным покупателям данного магазина, среднее время оказалось равным 24 минутам, стандартное отклонение – 7 минутам.
    • На уровне значимости 0.05 проверить предположение, что среднее время потраченное покупателем в магазине больше 19 минут.
    • На уровне значимости 1 процент проверить гипотезу о том, что стандартное отклонение времени, потраченного на покупки в данном магазине, больше чем во всей сети (при предположении, что время, проведенное в магазине, согласуется с нормальным законом).
  3. По выборке из 9 мужчин найдены средний чек и стандартное отклонение, оказавшиеся равными 1000 и 250 рублей. По выборке из 7 женщин соответствующие параметры оказались равны 1500 и 300.
    • Равны ли дисперсии (провести тест, предполагая независимость и нормальность)
    • Равны ли средние чеки мужчин и женщин (провести тест, предполагая независимость, нормальность и равенство дисперсий)?
  4. Пять покупателей до получения скидочной карты совершили 7, 8, 3, 5, 4 покупок соответственно, после – 8, 10, 4, 3, 6. Верно ли, что покупатели стали чаще ходить в магазин (проверить с помощью теста, нормальность и независимость предполагается)
  5. В среднем, по утверждению администрации супермаркета, за один час кассир обслуживает в среднем 20 покупателей. Менеджер замерял количество покупателей в течение 10 часов и получил следующие результаты: 18, 22, 19, 25, 20, 17, 21, 23, 16, 24. Предполагая количество покупателей пуассоновской случайной величиной, убедиться, что полученные данные не противоречат данным администрации.