Иван Лимар

Университет ИТМО

О курсе

Здесь представлена основная информация о курсе, чуть более подробно, в том числе аннотация, литература, большие детали системы оценивания можно посмотреть syllabus.

Оценивание

Оценка \(All = 4\cdot lab + 2 \cdot actv + theory\), где \(lab \leqslant 15\) – оценка за расчётно-графическую работу, \(actv \leqslant 10\) – оценка за активности в классе, \(theory \leqslant 20\) – за экзамен

Вопросы к экзамену

Условия РГР

Задачи

Набор № 1

Будем считать, что \(X_1\), \(\dots\), \(X_n\) – независимые одинаково распределенные случайные величины с функцией распределения \(F\) (данную модель будем называть простейшей выборкой, а \(F\) – теоретической функцией распределения), если не сказано иное.

Кроме того, нам понадобится следующая нотация:

\(\overline{g(X)} = \frac{1}{n}\sum_{i = 1}^ng(X_i)\),

где \(g(.)\) – некоторая функция.

Отсортированный по возрастанию массив \(X_1\), \(\dots\), \(X_n\) будем обозначать как \(X_{(1)}\), \(\dots\), \(X_{(n)}\), то есть \(X_{(1)} \leq \ldots \leq X_{(n)}\) (отсортированная последовательность называется вариационным рядом).

  1. Пусть \(F_n(t) = \frac{1}{n}\sum_{i = 1}^n \mathrm{1}(X_i \leqslant t)\) – эмпирическая функция распределения. Оценить \(\delta\), для которого \(\mathrm{P}(|F_n(t) - F(t)| < \delta) \geqslant \gamma\) при данном заданном \(\gamma \in (0, 1)\).

  2. Рассмотрим \(\overline{X}\) – выборочное среднее.
    • Найти приближенное распределение \(\overline{X}\) при достаточно больших \(n\) (что нужно потребовать, чтобы получился содержательный ответ?)
    • При следующих предположениях на \(F\) найти распределение \(\overline{X}\):
      • нормальное распределение с математическим ожиданием \(\mu\) и дисперсией \(\sigma^2\)
      • пуассоновский закон с параметром \(\lambda\)
      • экспоненциальный закон с параметром \(\lambda\)
      • распределение Коши (совет к следующему пункту может оказаться тоже полезным)
      • равномерное распределение на \([-1, 1]\) (вспомните, с помощью каких менее очевидных объектов можно задавать вероятностное распределение, иначе придется пострадать)
    • Рассмотрим величину \(Y_n = \sqrt{n}\frac{\overline{X} - \mathrm{E}X}{S_*}\), где величина \(S_*^2\) определена в следующем упражнении. Найти предельное распределение для \(Y_n\)
  3. Рассмотрим \(S_*^2 = \overline{(X - \overline{X})^2}\) – выборочную дисперсию. Найти \(\mathrm{E}\ S_*^2\) и \(\mathrm{Var}\ S_*^2\) (упражнение может быть весьма громоздким и можете считать это задачкой со «звездочкой»).
  4. Упражнение на вариационный ряд:
    • Найти функцию распределения для \(X_{(n)}\)
    • То же самое для \(X_{(1)}\)
    • Аналогично для \(X_{(k)}\)
    • Пусть \(F\) соответсвует равномерному закону на \([0; \theta]\). Положим \(L_n = \frac{nX_{(1)}}{\theta}\), \(R_n = \frac{n(\theta - X_{(n)})}{\theta}\). Найти предельное распределение для \(L_n, R_n\)
    • Предположим, что существует теоретическая плотность \(p\). Найти плотность для \(X_{(k)}\) (ответ предыдущего пункта записать через regularized incomplete beta function)
    • Найти совместную плотность для \((X_{(1)}, \dots, X_{(n)})\) (половинка звездочки)

Дополнительно: Метод Монте-Карло (например, тут и тут, плюс можно посмотреть указанные там ссылки)

Более “приземлённые” задачи:

  1. При изготовлении отливок вероятность получения дефектной равна 0,2. Сколько необходимо запланировать
    отливок к изготовлению, чтобы с вероятностью не менее 0,95 была обеспечена программа выпуска изделий, для выполнения которой необходимо 50 бездефектных отливок, если качество каждой из них не зависит от остальных?
  2. Сколько необходимо произвести независимых
    испытаний для того, чтобы с вероятностью 0,9 утверждать, что частота интересующего нас события будет отличаться от
    вероятности появления этого события, равной 0,4, не более чем на 0,1?
  3. Пусть многократный вызов функции rand симулирует (почему используется термин “симулирует”?) назависимые равномерно распределенные на \([0; 1]\) случайные величины. Предложите приближенный алгоритм для гереации гауссовской случайной величины с математическим ожиданием \(\mu\) и дисперсией \(\sigma^2\)
  4. Пусть есть некая задача. Студент каждый день делает некую долю от этой задачи. Предполагая, что каждый день студент работает независимо от остальных и доля выполненной задачи равномерно распределена на \([0; 1]\), предложите и реализуйте приближенный численный алгоритм, вычисляющий среднее количество дней, требуемое студентом для решения всей задачи.
    • Небольшая звездочка. Аналитически решить эту задачу

Набор № 2

Во всех задачах требуется найти оценку методом моментов, вычислить смещение, дисперсию и MSE (или хотя бы написать формулу, по которым это считается). Какими свойствами обладают найденные оценки?

  1. Нормальное распределение \(\mathcal{N}(\mu, \sigma^2)\)
    • \(\sigma^2\) известно
    • \(\mu\) известно
    • оба неизвестны
  2. Бернулли
  3. Пуассон
  4. Равномерное распределение на \([a, b]\)
  5. Сдвинутое экспоненциальное распределение
  6. Распределение Парето
  7. Распределение Коши

Набор № 3

Во всех задачах требуется найти оценку методом максимального правдоподобия, вычислить смещение, дисперсию и MSE (или хотя бы написать формулу, по которым это считается). Какими свойствами обладают найденные оценки? Для регулярных моделей вычислить информацию Фишера

  1. Пуассон
  2. Геометрическое
  3. Равномерное на \([\theta_1, \theta_2]\)
  4. Laplace (loc is unknown, scale is given)
  5. Shifted exponential
  6. Распределение Коши

Набор № 4

  1. Описать и обосновать схему построения доверительных интервалов для параметров нормального закона
  2. То же самое для математического ожидания произвольного закона
  3. Звездочка. А что с дисперсией?
  4. Звездочка. А медиана?
  5. Звездочка. Рассмотрите функцию \(-\sum_{j = 1}^n \ln F(X_j)\) и найдите ее распределение? Как это теоретически может помочь при построении доверительных интервалов

Набор № 5

В следующих упражнениях нужно сформулировать гипотезы \(H_0\), \(H_1\) и с помощью подходящего статистического критерия исследовать задачу (листинг с решением появится в понедельник, 7 апреля)

  1. Имеются 10 различных экземпляров прибора. Эталонный (идеальный) прибор показал 1000 единиц, в то время как 10 испытуемых приборов имеют следующие показания: 986, 1005, 991, 994, 983, 1002, 996, 998, 1002, 983. Можно ли считать отклонения от эталонного значения допустимым для данных экземпляров при заданном уровне значимости (показания считать гауссовскими величинами)?
  2. Станок производит болты, длина которых распределена нормально. Из партии болтов берется выборка объема \(n = 20\), для которой \(\overline{X} = 18000\), \(S^2 = 784\). За длительный срок работы установлено, что исправного станка среднее квадратическое отклонение не превышает 20. Требуется ли ремонт станка?
  3. Монетка подброшена 4040 раз и орёл выпал \(2^{11}\) раз. Верно ли, что :
    • монетку кидали нечестно
    • пытались выбить орла
  4. Для проверки точности двух одинаковых станков произведены замеры выпускаемого изделия \(X\). По результатам \(n_1 = 25\) измерений для первого станка вышло \(S^2_1 = 63,68\), для \(n_2 = 30\) замеров для второго – \(S_2^2 = 32.6\). Можно ли утверждать, что разброс для первого станка существенно больше чем у второго?
  5. По выборке из 9 мужчин найдены средний чек и стандартное отклонение, оказавшиеся равными 1000 и 250 рублей. По выборке из 7 женщин соответствующие параметры оказались равны 1500 и 300.
    • Равны ли дисперсии (провести тест, предполагая независимость и нормальность)
    • Равны ли средние чеки мужчин и женщин (провести тест, предполагая независимость, нормальность и равенство дисперсий)?
  6. Небольшая интеллектуальная задачка. Вывести рецепт для проверки равенства математических ожиданий двух независимых выборок нормального закона, если дисперсии неизвестны, но не обязательно равны
  7. В десятичной записи числа \(\pi\) среди первых 10002 знаков цифры \(0,\dots, 9\) встречаются 968, 1026, 1021, 974, 1014, 1046, 1021, 970, 948, 1014 раз соответственно. Можно ли эти цифры считать случайными?

Листинг. Плюс там есть еще примеры.

Набор № 6

  1. Пусть \(X_1, \ldots, X_n\) – выборка из нормального закона с единичной дисперсией. Рассмотрим две простые гипотезы: \(H_0: \mu = -1, H_1: \mu = 0\). Рассмотрим критерий, который принимает нулевую гипотезу, если \(\overline{X} < -n^{\gamma}\), где \(\gamma \in \mathbb{R}\) – фиксированное вещественное число. Вычислить вероятности ошибок первого и второго рода. При каких \(\gamma\) мощность критерия стремится к единице?
  2. Пусть \(X_1, \ldots, X_n\) – выборка из распределения Пуассона. Рассмотрим две простые гипотезы: \(H_0: \lambda = 1, H_1: \lambda = 3\). Критерий принимает нулевую гипотезу, если максимальный элемент выборки меньше или равен 1. Оценить минимальный размер выборки, для которого мощность критерия больше заданного числа \(\gamma\)
  3. Нулевая гипотеза заключается в том, что человек не является телепатом и с угадывает мысль на расстоянии с вероятностью 1/2. Гипотеза о наличии телепатических способностей принимается, если в 100 независимых испытаниях не менее 70 заканчиваются успехом. Чему равна вероятность признать телепатом человека без сверхъестественных способностей?
  4. Дана выборка из нормального закона с неизвестным матетическим ожиданием и фиксированной известной дисперсии. Постройте критерий отношения правдоподобия, для которого вероятность ошибки первого рода не превосходит \(\alpha_0\) и мощность критерия максимальна, если \(H_0: \mu = \mu_0, H_1: \mu = \mu_1 > \mu_0\). Hint: лемма Неймана-Пирсона
  5. Дана выборка из нормального закона с неизвестным матетическим ожиданием и фиксированной известной дисперсии. Постройте критерий отношения правдоподобия, для которого вероятность ошибки первого рода не превосходит \(\alpha_0\) и мощность критерия максимальна, если \(H_0: \mu = \mu_0, H_1: \mu = \mu_1 > \mu_0\). Будет ли критерий состоятельным (мощность стремится к 1 при увеличении объема выборки)? Hint: лемма Неймана-Пирсона
  6. Та же задача, только математическое ожидание фиксировано и равняется нулю, а проверяются простые гипотезы на дисперсии.
  7. Та же задача, только теперь оба параметра неизвестны (проверяются простые гипотезы на оба параметра: \(H_0: \mu = \mu_0, \sigma = \sigma_0, H_1: \mu = \mu_1, \sigma = \sigma_1\)).
  8. В следующих задачах нужно построить асимптотический критерий отношения правдоподобия (общую схему смотрели на занятии) с вероятностью ошибки первого рода \(\alpha\) (указываются класс распределений и значения прараметров в гипотезах):
    • экспоненциальное, \(H_0: \lambda = \lambda_0, H_1: \lambda = \lambda_1 < \lambda_0\)
    • пуассоновское, \(H_0: \lambda = \lambda_0, H_1: \lambda = \lambda_1 < \lambda_0\)
    • биномиальное с фиксированным числом испытаний, \(H_0: p = p_0, H_1: p = p_1 > p_0\)
    • геометрическое, \(H_0: p = p_0, H_1: p = p_1 > p_0\)