О курсе

Аннотация

Существенная часть кусра будет посвящена вопросам робастности – теории и методам, устойчивым к аномалиям в данных.

Контрольные мероприятия

Ожидаются следующие контрольные мероприятия:

  • лабораторные
  • контрольная (возможно)
  • экзаменационный проект

Подробности – ближе к делу.

Литература

  • R.A. Maronna, R.D. Martin, V.J. Yohai. Robust Statistics Theory and Methods. Относительно современное достаточно фундаментальная монография, посвященная вопросам робастности, но при этом общее изложение строится “от частного к общему”, плюс математические выкладки вынесены в дополнительные материалы
  • Шуленин В. П. Робастные методы математической статистики. На русском, более подробно в том числе с точки зрения математики рассматривается вопрос оценивания, однако отсутствуют линейные модели и временные ряды
  • Huber, Ronchetti. Robust Statistics. Классика, но, если авторы первой упомянутой книги по сути ставят метку “for graduate students”, то я бы поставил метку “for PhD programs” или “for graduate students of mathematics faculties”
  • Hampel, Ronchetti, Rousseeuw, Stahel. Robust Statistics: The Approach Based on Influence Functions. Возможно более простая относительно предыдущей, но все равно метка “for PhD programs”

Лаб

Задачи

Набор 1

  1. Имеется выборка \(x_1, \ldots, x_n\). Укажите (оцените) диапазон значений для выборочного стандартного отклонения при добавлении \(x_0\).
  2. При условии предыдущей задачи оцените изменения выборочной медианы.
  3. Докажите, что для всякой простейшей выборки неравенство выполняется \(\vert\frac{X_i - \overline{X}}{S}\vert \leqslant \frac{n - 1}{\sqrt{n}}\) с вероятностью 1.
  4. Найдите:
    • теоретический MAD для нормального закона
    • теоретический IQR для нормального закона
    • на что следует нормировать выборочный IQR, чтобы получить состоятельную оценку стандартного отклонения в модели нормального закона
    • что лучше: MADN или IQRN?

Набор 2

  1. Рассмотрим модель смеси распределений \(F = (1 - \varepsilon)G + \varepsilon H\). Какое распределение для выборки объёма \(n\) имеет количество наблюдений, согласованных с \(H\)?
  2. Найдите дисперсии (асимптотические) выборочных среднего и медианы, если в предыдущей задаче положить \(G = \mathcal{N}(\mu,\sigma^2)\), \(H = \mathcal{N}(\mu,\tau^2)\).
  3. При каких \(\nu\) – степенях свободы распределение Стьюдента имеет момент \(k\)-го порядка.
  4. Пусть \(\hat{\mu}\) – М-оценка для \(\mu\). Как изменится \(M\)-оценка при сдвиге выборки?
  5. Найдите второй момент \(k\)-ой функции Губера относительно стандартного нормального закона.
  6. Исследуйте задачу поиска числа степеней свободы распредения Стьюдента методом максимального правдоподобия (напишите функции \(\rho\), \(\psi\), \(W\)).

Набор 3

  1. Рассмотрите задачу поиска М-оценки сдвига, если дисперсия изветсна, то есть соответсвующая М-оценка в пределе даст \(\mathrm{E}\psi\frac{X - \mu}{\sigma} = 0\). Найдите IF для оценки \(\hat{\mu}\).
  2. Убедитесь, что breakdown points выборочного стандартного отклонения, MAD и IQR равны 0, 1/2 и 1/4 соответственно.
  3. Убедитесь, что breakdown point для усеченного среднего порядка \(\alpha\) есть \(\alpha\).
  4. Убедитесь, что breakdown point для выборочного квантиля порядка \(\alpha\) есть \(\min(\alpha, 1 - \alpha)\).
  5. Рассмотрим задачу поиска М-оценки параметра сдвига на основе оцененной дисперсии (MADN-оценка). Убедитесь, что максимальное смещение не ограниченная по \(k\) функция.
  6. Рассмотрим модель с экспоненциальным распределением: \(f_{\theta}(t) = \theta^{-1}\exp(-\theta^{-1}x)\mathrm{1}(x \geqslant 0)\).
    • Покажите, что минимальная gross-error sensitivity имеет оценка \(\mathrm{Med}x / \ln 2\)
    • Найдите асимптотическую эффективность данной оценки