Карточки
Тесты
Зави
Закон больших чисел. Неравенство Чебышева
В уроке «Биномиальное распределение» вы находили ожидание и дисперсию числа успехов в серии испытаний. В этом уроке докажем неравенство Чебышева — оценку вероятности большого отклонения по одной дисперсии — и выведем из него закон больших чисел. В конце ответим на вопрос: монету подбросили 10 000 раз — можно ли, не считая точных вероятностей, гарантировать, что вероятность получить больше 4900 и меньше 5100 гербов не меньше $0{,}75$?
Среднее многих опытов собирается около ожидания
Бросим монету $n$ раз. Пусть $X_i=1$, если в $i$-м броске выпал герб, и $X_i=0$ иначе. У каждого броска $E(X_i)=0{,}5$ и $D(X_i)=0{,}25$. Доля гербов в серии — это среднее $\overline X_n=\frac{X_1+\dots+X_n}{n}$. Посмотрим на весы этого среднего при $n=4$, $16$ и $64$.
При $n=4$ доля принимает значения $0;\ 0{,}25;\ 0{,}5;\ 0{,}75;\ 1$ с вероятностями $0{,}0625;\ 0{,}25;\ 0{,}375;\ 0{,}25;\ 0{,}0625$, стандартное отклонение равно $0{,}25$. При $n=16$ гирек больше, они мельче и сбиваются ближе к опоре $0{,}5$: $\sigma=0{,}125$. При $n=64$ уже $\sigma=0{,}0625$. Опора стоит на месте, а горка из гирек сужается: каждый раз опытов вчетверо больше, и ширина горки вдвое меньше.
Это следует из свойств ожидания и дисперсии. Ожидание суммы $n$ величин равно $nE(X)$, а дисперсия суммы независимых величин равна $nD(X)$. Деление на $n$ делит ожидание на $n$, а дисперсию — на $n^2$.
Среднее n независимых опытов
Если $X_1,\dots,X_n$ — независимые повторения одной величины $X$, то среднее $\overline X_n$ имеет то же ожидание, а дисперсию в $n$ раз меньше:
$$\begin{aligned}E(\overline X_n)&=E(X),\\ D(\overline X_n)&=\frac{D(X)}{n},\\ \sigma(\overline X_n)&=\frac{\sigma(X)}{\sqrt n}\end{aligned}$$
Картинка показывает, что горка сужается. Но «узкая горка» — еще не утверждение о вероятности. Нужен инструмент, который по одной дисперсии говорит, сколько массы может оказаться далеко от опоры.
Далеко от опоры много массы не бывает
Возьмем величину $X$ со значениями $0$, $5$, $10$ и вероятностями $0{,}1;\ 0{,}8;\ 0{,}1$. Ее опора $E(X)=5$, а дисперсия $D(X)=25\cdot 0{,}1+0\cdot 0{,}8+25\cdot 0{,}1=5$. Какая масса лежит не ближе $\varepsilon=4$ от опоры? Только гирьки в точках $0$ и $10$, вместе $0{,}2$. Значения, удаленные от опоры не меньше чем на $\varepsilon$, назовем хвостами. Сравним с дробью $\frac{D}{\varepsilon^2}=\frac{5}{16}\approx 0{,}31$: масса хвостов меньше.
При $\varepsilon=5$ масса хвостов та же, $0{,}2$, а дробь $\frac{5}{25}=0{,}2$ — ровно столько же. При $\varepsilon=6$ в хвостах нет ничего, а дробь равна $\frac{5}{36}$. Во всех случаях масса далеко от опоры не превышает $\frac{D}{\varepsilon^2}$. Это не совпадение, а теорема.
Теорема (неравенство Чебышева)
Для любой случайной величины $X$ с дисперсией $D(X)$ и любого числа $\varepsilon>0$ вероятность отклониться от ожидания не меньше чем на $\varepsilon$ не превосходит $\frac{D(X)}{\varepsilon^2}$:
Для противоположного события: $P\big(\lvert X-E(X)\rvert\lt \varepsilon\big)\ge 1-\frac{D(X)}{\varepsilon^2}$.
$$P\big(\lvert X-E(X)\rvert\ge\varepsilon\big)\le\frac{D(X)}{\varepsilon^2}$$
Пример 1
Число полных часов работы аккумулятора — случайная величина с ожиданием $500$ ч и стандартным отклонением $15$ ч. Оценим вероятность того, что это число $X$ больше $450$ и меньше $550$.
1) Событие означает $\lvert X-500\rvert<50$, то есть $\varepsilon=50$.
2) В неравенство входит дисперсия, а не $\sigma$: $D(X)=15^2=225$.
3) Хвосты: $P(\lvert X-500\rvert\ge 50)\le\frac{225}{50^2}=\frac{225}{2500}=0{,}09$.
4) Противоположное событие: $P(\lvert X-500\rvert<50)\ge 1-0{,}09=0{,}91$.
Ответ: не менее $0{,}91$.
Ошибка
Как ошибаются. Число $\frac{D}{\varepsilon^2}$ принимают за саму вероятность: «по Чебышеву вероятность отклонения равна $0{,}25$».
Проверка на числах. Кубик бросают $180$ раз, $X$ — число шестерок. Это биномиальная величина: $E(X)=180\cdot\frac16=30$, $D(X)=180\cdot\frac16\cdot\frac56=25$. Граница для отклонения не меньше $10$ равна $\frac{25}{100}=0{,}25$. Точный расчет по биномиальным вероятностям дает $P(\lvert X-30\rvert\ge 10)\approx 0{,}057$ — примерно в 4,4 раза меньше.
Где ломается рассуждение. Неравенство знает о величине только $E$ и $D$. У разных законов с теми же $E$ и $D$ хвосты разные, а граница одна на всех — поэтому она годится и для самого «тяжелого» закона. Это гарантия «не больше», а не значение: точная вероятность никогда не выше нее.
Почему граница верна: квадраты на стрелках
Вспомним, как устроена дисперсия на весах. От опоры к каждой гирьке идет стрелка длиной $\lvert x_i-E\rvert$, на стрелке стоит квадрат площадью $(x_i-E)^2$, и $D$ — сумма площадей, умноженных на массы гирек. Разделим гирьки на ближние (ближе $\varepsilon$ к опоре) и дальние. У каждой дальней гирьки квадрат не меньше $\varepsilon\times\varepsilon$.
Доказательство (идея)
Шаг 1. Рассмотрим величину $Y=(X-E(X))^2$. Она неотрицательна, и по определению дисперсии $E(Y)=D(X)=\sum (x_i-E)^2p_i$.
Шаг 2. Отбросим в сумме слагаемые ближних гирек. Они неотрицательны, поэтому сумма от этого не вырастет: $D\ge\sum_{\lvert x_i-E\rvert\ge\varepsilon}(x_i-E)^2p_i$.
Шаг 3. У дальней гирьки $(x_i-E)^2\ge\varepsilon^2$. Значит, $D\ge\varepsilon^2\sum_{\lvert x_i-E\rvert\ge\varepsilon}p_i=\varepsilon^2\cdot P(\lvert X-E\rvert\ge\varepsilon)$.
Шаг 4. Делим на $\varepsilon^2>0$ и получаем неравенство Чебышева. На нашем примере при $\varepsilon=4$: $5\ge 16\cdot 0{,}2=3{,}2$.
Та же мысль в общем виде
Скрыть
Шаги 2–3 доказывают более общий факт: для неотрицательной величины $Y$ и числа $a>0$ верно $P(Y\ge a)\le\frac{E(Y)}{a}$ (неравенство Маркова). Неравенство Чебышева — это оно же для $Y=(X-E(X))^2$ и $a=\varepsilon^2$.
Из доказательства видны условия. Нужна только дисперсия: закон распределения может быть любым. Для величины с конечным числом значений дисперсия есть всегда. Квадрат в знаменателе появился из площади квадрата на стрелке, поэтому делить надо на $\varepsilon^2$, а не на $\varepsilon$.
Удобно мерить $\varepsilon$ в стандартных отклонениях. Если $\sigma>0$ и $\varepsilon=k\sigma$, то граница равна $\frac{\sigma^2}{k^2\sigma^2}=\frac{1}{k^2}$. При $\varepsilon=2\sigma$ хвосты весят не больше $\frac14$, а отклонение меньше $2\sigma$ имеет вероятность не менее $0{,}75$ — для любого закона. При $\varepsilon\le\sigma$ граница не меньше $1$ и ничего не сообщает: вероятность и так не больше единицы.
Частота успеха и закон больших чисел
Начнем с примера. Посеяли $900$ семян, всхожесть каждого $0{,}9$, семена прорастают независимо. Насколько надежно доля взошедших близка к $0{,}9$ — скажем, отличается меньше чем на $0{,}03$? Доля взошедших — это среднее $900$ опытов «взошло — $1$, не взошло — $0$». Посмотрим, что неравенство Чебышева говорит о среднем любых независимых повторений.
Применим неравенство к среднему $n$ независимых опытов. У него ожидание $E(X)$ и дисперсия $\frac{D(X)}{n}$, поэтому $P\big(\lvert\overline X_n-E(X)\rvert\ge\varepsilon\big)\le\frac{D(X)}{n\varepsilon^2}$. При фиксированном $\varepsilon$ правая часть с ростом $n$ становится сколь угодно малой: горка среднего сжимается, и в хвостах за $\varepsilon$ остается совсем мало массы.
Теорема (закон больших чисел)
Пусть $X_1,\dots,X_n$ — независимые повторения величины $X$ с конечной дисперсией $D(X)$. Тогда для любого $\varepsilon>0$
и эта вероятность стремится к нулю при $n\to\infty$: для каждого фиксированного $\varepsilon>0$ вероятность отклонения среднего от ожидания хотя бы на $\varepsilon$ стремится к нулю.
$$P\big(\lvert\overline X_n-E(X)\rvert\ge\varepsilon\big)\le\frac{D(X)}{n\varepsilon^2}$$
Важный частный случай — испытания с вероятностью успеха $p$. Если $X_i=1$ при успехе и $0$ при неудаче, то $E(X_i)=p$, $D(X_i)=pq$, где $q=1-p$, а среднее — это частота успеха $\frac kn$, где $k$ — число успехов. Устойчивость частоты вы наблюдали в уроке о частоте и вероятности и в уроке алгебры о законе больших чисел. Теперь у нее есть числовая гарантия.
Оценка для частоты
В $n$ независимых испытаниях с одной и той же вероятностью успеха $p$ частота успеха отклоняется от $p$ не меньше чем на $\varepsilon$ с вероятностью не больше $\frac{pq}{n\varepsilon^2}$. Если $p$ неизвестна, используют $pq\le\frac14$:
$$P\left(\left\lvert\frac kn-p\right\rvert\ge\varepsilon\right)\le\frac{pq}{n\varepsilon^2}\le\frac{1}{4n\varepsilon^2}$$
Пример 2
Всхожесть семян $p=0{,}9$. Посеяли $900$ семян, каждое прорастает независимо от других. Оценим вероятность того, что доля взошедших окажется больше $0{,}87$ и меньше $0{,}93$.
1) Событие: $\left\lvert\frac k{900}-0{,}9\right\rvert<0{,}03$, то есть $\varepsilon=0{,}03$.
2) $pq=0{,}9\cdot 0{,}1=0{,}09$; $n\varepsilon^2=900\cdot 0{,}0009=0{,}81$.
3) Граница для хвостов: $\frac{0{,}09}{0{,}81}=\frac19\approx 0{,}11$. Противоположное событие: не менее $1-\frac19=\frac89\approx 0{,}89$.
4) Для сравнения: без знания $p$ оценка $\frac{1}{4n\varepsilon^2}=\frac{1}{3{,}24}\approx 0{,}31$ дала бы гарантию лишь $0{,}69$. Знание $p$ уточняет оценку.
Ответ: не менее $\frac89\approx 0{,}89$.
Сколько опытов нужно для заданной точности
Теперь обратная задача: по нужной точности и надежности найти число испытаний. Задана точность $\varepsilon$ и надежность; хвосты должны весить не больше числа $\alpha$ — единица минус надежность. Достаточно потребовать $\frac{1}{4n\varepsilon^2}\le\alpha$, откуда $n\ge\frac{1}{4\alpha\varepsilon^2}$. Число испытаний целое, поэтому результат округляют вверх. Разберем пример подробно.
Пример 3
Социологи хотят оценить долю $p$ сторонников проекта по независимым ответам случайно выбранных людей так, чтобы с вероятностью не менее $0{,}95$ ошибка была меньше $0{,}05$. Сколько человек достаточно опросить?
1) Надежность $0{,}95$, значит, хвосты не больше $\alpha=1-0{,}95=0{,}05$; точность $\varepsilon=0{,}05$, $\varepsilon^2=0{,}0025$.
2) Доля $p$ неизвестна, поэтому берем оценку $\frac{1}{4n\varepsilon^2}$ и требуем $\frac{1}{4n\cdot 0{,}0025}\le 0{,}05$.
3) $n\ge\frac{1}{4\cdot 0{,}05\cdot 0{,}0025}=\frac{1}{0{,}0005}=2000$.
Ответ: достаточно $2000$ человек.
Число $2000$ — достаточное, с запасом. Для $p=0{,}5$ точный расчет при $n=2000$ дает вероятность ошибки около $0{,}00001$, а не $0{,}05$: граница Чебышева снова грубая, но гарантированная. Попробуйте сами: меняйте число бросков и точность и сравнивайте границу с точной вероятностью.
Вернемся к вопросу из начала урока. Монету бросили $10\,000$ раз, $X$ — число гербов. По биномиальным формулам $E(X)=np=5000$, $D(X)=npq=10\,000\cdot 0{,}5\cdot 0{,}5=2500$, $\sigma=50$. Событие «больше 4900 и меньше 5100» — это $\lvert X-5000\rvert<100$, то есть $\varepsilon=100=2\sigma$. Граница для хвостов $\frac{2500}{100^2}=0{,}25$, поэтому вероятность события не менее $0{,}75$. Само событие гарантировать нельзя: оно случайное. Но гарантировать, что его вероятность не меньше $0{,}75$, можно, и без единой таблицы. Точное значение около $0{,}953$ — больше гарантии, как и должно быть. Для сравнения: в 1940-х годах Дж. Керрих подбросил монету $10\,000$ раз и получил $5067$ гербов — внутри интервала $(4900;\,5100)$.
Вывод
Неравенство Чебышева превращает одну дисперсию в гарантию: далеко от опоры не может лежать много массы, потому что каждая дальняя гирька несет квадрат площадью не меньше $\varepsilon^2$. Для среднего $n$ опытов дисперсия делится на $n$, граница стремится к нулю — это и есть закон больших чисел. Граница грубая и дает «не больше» для хвостов и «не менее» для середины, но не саму вероятность.
Так социологи и контролеры качества заранее считают, сколько людей опросить или изделий проверить, чтобы доля в выборке с заданной высокой вероятностью отличалась от истинной меньше чем на заданную точность.
Следующий урок
В уроке «Непрерывные случайные величины и плотность» гирек станет так много, что горка превратится в гладкую кривую, а вероятность — в площадь под ней.
Часто задаваемые вопросы
Дисперсия складывается из площадей квадратов на стрелках, а у дальней гирьки квадрат не меньше $\varepsilon\times\varepsilon$. Есть и проверка единицами: если $X$ в часах, то $D$ в квадратных часах, и только $\frac{D}{\varepsilon^2}$ получается безразмерным числом, как вероятность.
Точный расчет требует знать закон распределения целиком, а неравенству Чебышева достаточно ожидания и дисперсии. Кроме того, это гарантия: она верна для любого закона с такой дисперсией. Поэтому именно из нее получается закон больших чисел для независимых повторений одной величины с конечной дисперсией.
Для всех законов сразу — нет. У величины со значениями $0$, $5$, $10$ и вероятностями $0{,}1;\ 0{,}8;\ 0{,}1$ при $\varepsilon=5$ граница $0{,}2$ достигается точно. Для конкретных законов, например биномиального при больших $n$, есть более точные способы — с ними вы познакомитесь в этом модуле.
Для самого неравенства Чебышева — нет, оно говорит об одной величине. Независимость нужна, чтобы дисперсия среднего была равна $\frac{D}{n}$. Если опыты сильно связаны, например все $X_i$ равны одному и тому же $X_1$, то среднее равно $X_1$ и его разброс не уменьшается.
5
5
1
5
Получите полный доступ ко всем материалам и занимайтесь в удобном темпе — без ограничений.
- Более 700 000 учеников и 50 000 учителей по всей России.
- Повышение среднего балла по предмету до 20 % после месяца занятий.
- Всплеск интереса к учебе и более глубокое понимание предметов.
Создайте бесплатный аккаунт — и откройте больше возможностей:
- Отслеживайте прогресс освоения тем
- Получайте персональные подборки полезных уроков и заданий
- Проводите работу над ошибками после занятий