О курсе

Аннотация

В первой части семестра мы более фундаментально рассмотрим теорию вероятностей, в частности, сформулируем аксиоматику и поработаем с непрерывными распределениями, а во второй части семестра продолжим изучать методы математической статистики, в частности, затронем более детально доверительные интервалы, критерии согласия и однородности.

Контрольные мероприятия

Ожидаются 2 КР, 2 РГР, коллоквиум и экзамен. Более подробно про систему оценивания тут

Литература

Книг по теории вероятностей и математической статистике довольно-таки. Помимо упомянутых изданий к прошлому курсу можно отметить “Элементарный курс теории вероятностей и математической статистике” за авторством Бородина.

Особо любознательные могут обратиться к фундаментальным работам по теории вероятностей:

Боровков. Теория вероятностей.
Ширяев. Вероятность (в 2-х томах)
Феллер. Введение в терию вероятностей и её приложения (в 2-х томах)

По математической статистике можно посмотреть пособие Черновой. Более любознательные могут обратить внимание на “Введение в математическую статистику” от Ивченко и Медведева, а интересующиеся более глубоким математическим изложением – на “Математическую статистику” Боровкова.

Условия РГР

Первая

Теория

Часть 1

Задачи

Набор 1

С какой вероятностью уравнение \(x^2 + \xi x + \eta = 0\) имеет два различных вещественных корня, если точка \((\xi, \eta)\) случайно бросается в единичный квадрат \([0; 1]^2\)? А с какой вероятностью ровно один корень?
Рассмотрим функцию \(f_{\xi, \eta}(x) = x^3 - 3\xi^2 x + \eta\), где точка \((\xi, \eta)\) случайно бросается в квадрат \([0; 1]^2\). С какой вероятностью уравнение \(f_{\xi, \eta}(x) = 0\) имеет ровно \(k\) различных вещественных корней?
Имеется достаточно большая разлинованная плоская поверхность, причем расстояние между линиями на поверхности равняется \(d\). На эту поверхность случайно бросается иголка длины \(2l\). Найти вероятность того, что после броска иголка пересечет какую-то линию, если:
- \(2l < d\) («простой» случай),
- \(2l \geqslant d\) (более «сложный»).
К автобусной остановке через каждые четыре минуты подходит автобус линии \(A\) и через каждые шесть минут - автобус линии \(B\). Интервал времени между моментами прихода первого автобуса линии \(A\) и первого автобуса линии \(B\) равновозможен в пределах от нуля до четырех минут. Определить вероятность того, что:
- первый подошедший автобус окажется автобусом линии \(A\);
- автобус какой-либо линии подойдет в течение двух минут.
Отрезок длины \(L\) поделён на \(m\) частей длины \(l_1,\ldots,l_m\) соответственно (\(\sum l_j = L\)). Случайно независимо на отрезок бросаются \(n\) точек. С какой вероятностью ровно \(n_1\) точек попадут на отрезок длины \(l_1\), \(\ldots\), \(n_m\) – на отрезок длины \(l_m\)?
На окружность случайно ставятся три точки. С какой вероятностью они образуют:
- прямоугольный треугольник,
- тупоугольный треугольник,
- острый треугольник?

Набор 2

Бросаются два игральных кубика. Найдите:
- распределение суммарного количества очков,
- математическое ожидание и дисперсию суммарного количества очков (два способа),
- моду, медиану.
Случайные величины \(X_1, X_2, \ldots, X_n\) независимы и распределены по Пуассону с параметрами \(\lambda_1, \ldots, \lambda_n\) соответственно. Найдите:
- математическое ожидание и дисперсию \(X_k\)
- распределение сумм \(X_1 + \ldots + X_m\)
- вероятности \(\mathrm{P}(X_1 + \ldots + X_m = k\vert X_1 + \ldots + X_n = j)\), \(m < n\) (в этом и следующем подпункте предполагайте, что \(\lambda_k = \lambda\) для всех \(k\))
- моменты \(\mathrm{E}(X_1 + \ldots + X_m \vert X_1 + \ldots + X_n = j)\), \(\mathrm{Var}(X_1 + \ldots + X_m \vert X_1 + \ldots + X_n = j)\).
Случайные величины \(X_1, X_2, \ldots\) независимы и имеют математическое ожидание \(a\) и дисперсию \(b^2\), также есть независимая от \(X_k\), принимающая целые неотрицательные значения случайная величина \(\nu\) с математическим ожиданием \(\mu\) и дисперсией \(\sigma^2\). Положим \(S_\nu = X_{1} + \ldots + X_{\nu}\) при \(\nu \in \mathbb{N}\) и \(S_\nu = 0\) при \(\nu = 0\). Найти \(\mathrm{E}S_{\nu}\) и \(\mathrm{Var} S_{\nu}\). Hint: для решения этой задачи следует вывести формулы полного математического ожидания и дисперсии, \(\mathrm{E} X = \mathrm{E}\mathrm{E}(X\vert Y)\) и \(\mathrm{Var}X = \mathrm{E}\mathrm{Var}(X\vert Y) + \mathrm{Var} \mathrm{E}(X \vert Y)\).
Случайная величина \(X\) принимает целые неотрицательные значения. Сопоставим ей производящую функцию вероятностей \(f(z) = \sum_{k = 0}^{\infty} p_k z^k = \mathrm{E}z^X\). Выразите через производящую функцию вероятностей или ее производные первые три момента и вероятности \(p_k\). Чему равняется производящая функция вероятностей суммы независимых случайных величин?
Рассмотрим следующую модель. Пусть в начальный момент времени имеется 1 частичка (она образует первое поколение) и положим за \(X_{1, 1}\) – количество ее потомков. Далее каждая частичка второго поколения делится случайным образом, положим \(X_{2, k}\) за количество потомков \(k\)-ой частички второго поколения. И так далее. Пусть \(S_0 = 1\), \(S_{k} = X_{k, 1} + \ldots + X_{k, S_{k - 1}}\). Таким образом, \(S_k\) – общее количество частиц в \(k\)-ый момент времени, \(X_{i, j}\) – количество потомков \(j\)-ой частицы в \(i\)-м поколении. При предположении независимости и одинаковой распределенности \(X_{i, j}\) найдите:
- \(f_{S_2}\), \(f_{S_3}\), где для случайной величины Y функция \(f_Y(z) = \sum_{k = 0}^{\infty}\mathrm{P}(Y = k)z^k\), при предположении, что функция \(f_{X_{i, j}}\) известна
- покажите, что вероятность вырождения \(q\) является наименьшим неотрицательным корнем уравнения \(q = f_{X_{1, 1}}(q)\).

Набор 3

Укажите при каких значениях параметра \(\alpha\) указанные функции являются плотностями, также везде требуется найти функцию распределения:
- \[p(x) = c_\alpha x^{-\alpha}I(x \geqslant 1)\]
- \[p(x) = c_\alpha x^{-\alpha}I(x \in (0, 1])\]
Случайная величина \(X\) является гауссовской с параметрами \(\mu\) и \(\sigma^2\). Какое распределение имеет случайная величина \(Y = aX + b\), с помощью данного соотношения выразите вероятность попадания гауссовской величины в интервал через функцию распределения стандартного нормального закона (\(\mu = 0, \sigma^2 = 1\)).
Случайная величина \(X\) равномерно распределена на [0; 1]. Найдите функцию распределения и плотность случайной величины \(Y = -\ln(1 - X)\).
Пусть \(F\) строго монотонно возрастающая функция распределения. Покажите, что
- если распределение случайной величины \(Y\) специфицируется функцией \(F\), то \(F(Y)\) распределена равномерно
- если \(Y\) распределена равномерно, то \(F^{-1}(Y)\) имеет задающееся функцией \(F\) распределение (конкретно это утверждение верно и при более общих предположениях на \(F\), только как стоит определить \(F^{-1}\))
Из через точку с координатами (0; 1) случайно проводится прямая. Пусть \(\xi\) – абсцисса точки пересечения прямой и оси абсцисс. Найдите фукцию распределения и плотность случайной величины \(X\).
Случайная величина \(X\) равномерно распределена на \([-1; 2]\). Найдите функцию распределения и плотность случайной величины \(X^2\).
Случайная величина \(X\) равномерно распределена на \([0; 1]\), найти функцию распределения случайных величин \(Y_1 = 2X\mathrm{1}(X \in [0, 1/2]) + 2(1 - X)\mathrm{1}(X \in (1/2,1])\), \(Y_2 = X\mathrm{1}(X \in [0, 1/3]) -\mathrm{1}(X \in (1/3, 2/3]) - X^3\mathrm{1}(X \in (2/3,1])\), \(Y_3 = 1/4\mathrm{1}(X \in [0, 1/4]) +\mathrm{1}(X \in (1/4, 3/4]) + 1/4\mathrm{1}(X \in (3/4,1])\).
Пусть \(X \sim \mathrm{Cauchy}(0; 1)\), то есть \(p(x) = \pi^{-1}(1 + x^2)^{-1}\). Найти законы распределения случайных величин \(Y_1 = X^2 / (1 + X^2)\), \(Y_2 = 2X / (1 - X^2)\), \(Y_3 = 1/X\).

Набор 4

Пусть \(p(x, y) = c(x + y)\mathrm{1}(x, y \geqslant 0, y \leqslant 1 - x / 2)\) – совместная функция плотности. Найти:
- нормирующую константу,
- маргинальные плотности,
- функцию распределения случайной величины \(U = X/2 + Y\).
Случайный вектор \((X, Y)\) равномерно распределён в круге \(x^2 + y^2 \leqslant 1\). Найдите:
- маргинальную плотность для \(Y\),
- совместную функцию распределения для полярных радиуса и угла,
- маргинальные распределения полярных радиуса и угла, являются ли они независимыми?
Найдите распределение суммы 2 независимых величин:
- равномерно распределенных на [-1; 1]
- гауссовских величин
- одинаково распределенных экспоненциальных
- Коши

Набор 5

Для задачи 1 из блока 3 найдите \(k\)-ый момент, в частности, математическое ожидание и дисперсию, моду и медиану.
Для стандартных распределений найдите математическое ожидание и дисперсию (если мы не успели сделать это на теории, что сильно не исключено):
- равномерное
- нормальное
- гамма
- what about Cauchy
Пусть \(\Theta \sim \mathrm{U}[0, 2\pi]\). Найдите \(\mathrm{Cov}(Y_1, Y_2)\) при \(Y_1 = \cos \Theta\), \(Y_2 = \sin \Theta\). Являются ли величины независимыми?
Для задачи 1 из предыдущего блока найдите коэффициент корреляции.
Покажите, что для компонент гауссовкого вектора понятия независимости и некоррелированности равносильны.
Для задачи 2 из предыдущего блока найдите коэффициент корреляции между \(X\) и \(Y\). Являются ли они независимым?

Набор 6

Для первой задачи из набора 4 найдите условные распределения, условные числовые характеристики и убедитесь в справедливости разложения дисперсии и математического ожидания
То же самое для второй задачи из набора 4
Рассмотрим двумерный гауссовский вектор. Найдите условное распределение компоненты при фиксированной второй.
Решить предыдущую задачу в более общей ситуации: дан гауссовский вектор размерности \(n\) и, скажем, последние \(m\) компонент фиксированы. Найти условное распределение.

Набор 7

Вывести характеристические функции стандартных распределений
С помощью метода характеристических функций найдите \(k\)-ый момент стандартной гауссовской величины, оттуда вывести формулу для \(k\)-го момента произвольной гауссовской величины
Пусть \(Y_n = \frac{X_n - n}{\sqrt{n}}\), где \(X_n \sim \mathrm{Pois}(n)\). Найти предел по распределению для \(Y_n\).
С помощью характеристических функций докажите теорему Пуассона
Найдите характеристикую функцию гауссовского вектора. Оттуда вывести, что вектор является гауссовским тогда и только тогда, когда распределение всякой линейной комбинации компонент вектора является либо нормальным либо вырожденным.
Покажите, что характеристическая функция является \(2\pi\)-периодической тогда и только тогда, когда случайная величина принимает целые значения.
Случайно генерируются 100 равномерно распределенных на \([-\sqrt{3}, \sqrt{3}]\) случайных величин. Найдите:
- вероятность попадания суммы в интервал [-3, 7]
- порог \(\Delta\), при котором сумма лежит в диапазоне \([-\Delta, Delta]\) с вероятностью \(1 - \alpha\), в частности, найти конкретные значения при \(\alpha = 0.05\), \(\alpha = 0.1\) (сделать через неравенство Чебышёва и ЦПТ)
- количество слагаемых, при которых усредненная сумма лежит в диапазоне \([-\delta, \delta]\) с вероятностью \(\gamma\), в частности, найти значения при \(\gamma = 0.9\), \(\gamma = 0.99\), \(\delta = 0.1\) (сделать через неравенство Чебышёва и ЦПТ)
Рассмотрим интеграл \(I = \int_{\mathbb{R}^3} \cos^2(x) \mathrm{ch}(y) |z|^{pi} \exp(- (5x^2 + 4y^2 + 2z^2 + 6xy + 2xz + 4yz)/ 2)dxdydz\). Предложите численный алгоритм, считающий величину \(I\).
Случайные величины \(X_0, \ldots, X_n\) независимы и стандартные гауссовские. Найти предел по распределению \(T_n = X_0 / \sqrt{\frac{1}{n}\sum_{k = 1}^n X_k^2}\) (spoiler: in this problem we consider essential in statistics T-distribution)
Найти предел по вероятности величины \(S_*^2 = \frac{1}{n}\sum_{k = 1}^n(X_k - \frac{1}{n}\sum_{j = 1}^n X_j)^2\), если величины \(X_1, \ldots, X_n\) независимы и одинаково распределены (нужные моменты существуют)
Куда и как сходится величина \(\sqrt{n}\frac{\overline{X} - \mu}{S_*}\), где \(\mu\) – математическое ожидание, \(\overline{X}\) – усредненная сумма первых \(n\) независимых одинаково распределенных случайных величин, \(S_* = \sqrt{S_*^2}\).

Набор 8

Во всех задачах нужно найти оценку методом моментов и методом максимального правдоподобия, исследовать свойства оценки, найти смещение, дисперсию, MSE (или асимптотики). Для регулярных моделей найдите информацию Фишера

Нормальное распределение
Экспоненциальное
Равномерное
Биномиальное
Сдвинутое экспоненциальное
Лаплас