Дошкольникам
1 класс
2 класс
3 класс
4 класс
5 класс
6 класс
7 класс
8 класс
9 класс
10 класс
11 класс
ОГЭ
ЕГЭ
ВУЗ
Для всех
Назад

Выборочные характеристики: оценки среднего и дисперсии

Содержание

В уроке «выборка и генеральная совокупность» мы выяснили, как взять честную выборку. Теперь научимся считать по ней числа: выборочное среднее, отклонения, выборочную дисперсию и стандартное отклонение. Главный вопрос урока — почему в выборочной дисперсии сумму квадратов делят не на объем выборки $n$, а на $n-1$.

Ложка говорит о кастрюле, но каждая ложка — по-своему

Чтобы узнать вкус супа, не съедают всю кастрюлю: зачерпывают ложку из перемешанного супа. В статистике кастрюля — это генеральная совокупность, ложка — выборка, а вкус ложки — число, посчитанное по выборке. По нему мы судим о всей совокупности.

Пусть в партии тысячи яблок, и мы хотим узнать их среднюю массу. Взвесим пять случайно взятых яблок: $152$, $148$, $160$, $145$, $155$ г. Их среднее $\frac{760}{5}=152$ г. Это и есть вкус нашей ложки. Возьмем другие пять яблок — получим другое число, например $149$ или $156$ г. Ложки разные, и оценка от ложки к ложке колеблется.

Четыре выборки из одной совокупности дают разные средние; среднее совокупности неизвестно
Каждая выборка дает свое среднее: оценки рассыпаны вокруг среднего совокупности

Определение

Пусть $x_1, x_2, \dots, x_n$ — значения выборки объема $n$. Выборочное среднее — их среднее арифметическое:

Оно служит оценкой среднего генеральной совокупности: числом, которое мы вычисляем по выборке вместо неизвестного числа для всей совокупности.

$$\bar x=\frac{x_1+x_2+\dots+x_n}{n}$$

Если значения повторяются, выборку записывают таблицей частот: значение $x_i$ встретилось $m_i$ раз. Тогда сумму удобно считать как $\sum x_i m_i$, а делить по-прежнему на объем выборки $n=\sum m_i$ — на число всех наблюдений, а не на число разных значений.

Оставим вопрос, к которому вернемся в разделе о делителе. Пусть вся кастрюля — это три числа $2$, $4$, $6$. Их среднее $4$, а дисперсия — средний квадрат отклонения — равна $\frac{4+0+4}{3}=\frac83$. Будем брать ложки по два числа. Угадают ли такие ложки дисперсию кастрюли хотя бы в среднем?

Отклонения от среднего уравновешивают друг друга

Вкус ложки — это не только центр, но и разброс: насколько яблоки отличаются друг от друга. Начнем с того, на сколько каждое значение отходит от среднего. Для наших яблок ($\bar x=152$) это $152-152=0$, $148-152=-4$, $160-152=8$, $145-152=-7$, $155-152=3$.

Отклонения точек 145, 148, 152, 155, 160 от среднего 152: −7, −4, 0, +3, +8, сумма равна нулю
Отклонения вправо и влево от среднего в сумме дают ноль

Сложим их: $0-4+8-7+3=0$. Это не совпадение. Среднее — точка равновесия выборки: насколько значения выше среднего, настолько другие ниже.

Свойство

Отклонение значения от выборочного среднего — разность $x_i-\bar x$. Сумма всех отклонений любой выборки равна нулю:

$$\sum_{i=1}^{n}(x_i-\bar x)=0$$

Почему верно: $\sum(x_i-\bar x)=\sum x_i-n\bar x$, а $n\bar x$ — это и есть сумма всех значений. Отсюда следствие, которое понадобится дальше: если известны $n-1$ отклонений, последнее уже определено — оно равно минус сумме остальных. Свободно меняться могут только $n-1$ отклонений из $n$.

Из-за этого свойства сумма отклонений ничего не говорит о разбросе: она всегда ноль. Поэтому отклонения возводят в квадрат — тогда знаки не гасят друг друга.

Разброс ложки: сумма квадратов и делитель на единицу меньше объема

В 8 классе дисперсией набора чисел называли средний квадрат отклонения: сумму квадратов делили на количество чисел $n$. Так описывают разброс самого набора, в том числе выборки. Для оценки разброса всей совокупности в этом уроке будем использовать делитель $n-1$. Разницу между двумя оценками проверим в следующем разделе.

Для наших пяти яблок квадраты отклонений равны $0$, $16$, $64$, $49$, $9$, их сумма — $138$. При делении на $5$ получаем $138/5=27{,}6$, а при делении на $4$ — $138/4=34{,}5$. Какое из этих чисел использовать для оценки дисперсии партии?

Определение

Пусть выборка содержит не менее двух наблюдений: $n\ge2$.

Выборочная дисперсия (оценка дисперсии генеральной совокупности по выборке) — сумма квадратов отклонений от выборочного среднего, деленная на $n-1$:

По одному наблюдению такую оценку дисперсии вычислить нельзя: знаменатель равен нулю. При делении на $n$ получается дисперсия самого набора; ее тоже можно использовать как оценку дисперсии совокупности, но ее свойства отличаются от свойств $s^2$.

$$s^2=\frac{(x_1-\bar x)^2+(x_2-\bar x)^2+\dots+(x_n-\bar x)^2}{n-1}$$

Квадраты отклонений 0, 16, 64, 49, 9 дают сумму 138; s² = 138 : 4 = 34,5
Квадраты отклонений складываются в сумму 138; оценка — сумма, деленная на n − 1 = 4

Пример

Задача. По выборке яблок $152$, $148$, $160$, $145$, $155$ г оцените дисперсию массы яблок во всей партии.

Решение. Шаг 1. Среднее: $\bar x=\frac{760}{5}=152$.

Шаг 2. Отклонения: $0$, $-4$, $8$, $-7$, $3$; проверка — их сумма равна $0$.

Шаг 3. Квадраты: $0$, $16$, $64$, $49$, $9$; сумма $\sum(x_i-\bar x)^2=138$.

Шаг 4. Используем принятую в уроке оценку $s^2$ с делителем $n-1=4$: $s^2=\frac{138}{4}=34{,}5$.

Ответ: $s^2=34{,}5$ г$^2$. При делении на $5$ вышло бы $27{,}6$ — это дисперсия набора из пяти чисел и другая оценка дисперсии партии. При независимом равновероятном отборе с возвратом она в среднем занижена, то есть смещена.

Проверим на всех ложках сразу

Вернемся к кастрюле из трех чисел $2$, $4$, $6$ с дисперсией $\frac83$. Будем черпать ложку из двух чисел с возвратом: первое число взяли, записали, вернули, перемешали, взяли второе. Возможных ложек $3\cdot3=9$, и все они равновероятны. Для каждой посчитаем среднее и два варианта оценки: с делителем $n=2$ и с делителем $n-1=1$.

ВыборкаСреднееСумма квадратов : 2Сумма квадратов : 1
2; 2200
2; 4312
2; 6448
4; 2312
4; 4400
4; 6512
6; 2448
6; 4512
6; 6600
В среднем по 9 выборкам44/38/3

Что видно. Средние выборок колеблются от $2$ до $6$, но в среднем дают ровно $4$ — среднее кастрюли. Оценки разброса при делении на $2$ в среднем дают $\frac{12}{9}=\frac43$ — вдвое меньше настоящей дисперсии $\frac83$. При делении на $1$ в среднем получается $\frac{24}{9}=\frac83$ — ровно то, что нужно. Ответ на вопрос из начала урока: в этом опыте из двух рассмотренных делителей именно $n-1$ дает в среднем дисперсию совокупности.

Девять выборок из {2; 4; 6}: деление на n дает в среднем 4/3, деление на n − 1 дает 8/3 = D
В опыте с возвратом при делении на n оценки в среднем ниже D, при делении на n − 1 — совпадают с D

Почему так происходит. Отклонения в выборке считают от ее собственного среднего $\bar x$, а не от неизвестного среднего кастрюли. Ложка подгоняет центр под себя: сумма квадратов отклонений от своего $\bar x$ никогда не больше, чем от любого другого числа, в том числе от настоящего центра кастрюли. Поэтому разброс ложки кажется меньше. Например, ложка $2; 2$ выглядит совсем однородной, хотя кастрюля — нет. При независимом равновероятном отборе с возвратом деление на $n-1$ компенсирует занижение в среднем по всем выборкам. Второе объяснение — из раздела об отклонениях: из $n$ отклонений свободны только $n-1$.

Определение

Оценка называется несмещенной, если в среднем по всем возможным выборкам она равна оцениваемой величине.

Правило

Выборочное среднее $\bar x$ — несмещенная оценка среднего, а $s^2$ с делителем $n-1$ — несмещенная оценка дисперсии совокупности при независимом равновероятном отборе с возвратом и $n\ge2$. Для большой совокупности и малой случайной выборки без возврата несмещенность $s^2$ — приближение. При отборе с возвратом деление на $n$ дает смещенную оценку: при положительной дисперсии совокупности она в среднем занижена. Делитель $n-1$ устраняет это смещение.

Оценка с делителем $n-1$:

$$s^2=\frac{\sum(x_i-\bar x)^2}{n-1}$$

Ошибка

Как ошибаются. Делят сумму квадратов на $n$ всегда, по привычке из 8 класса: «дисперсия — это средний квадрат».

Проверка на числах. Для кастрюли $2$, $4$, $6$ такие оценки по девяти ложкам в среднем дают $\frac43$, а настоящая дисперсия $\frac83$. Ошибка не случайная: она повторяется в одну сторону.

Где ломается рассуждение. Средний квадрат отклонения от $\bar x$ описывает разброс самой ложки. Он тоже может служить оценкой разброса кастрюли, но при независимом равновероятном отборе с возвратом и положительной дисперсии совокупности в среднем занижен. Ошибка — считать эту оценку несмещенной; для несмещенной оценки $s^2$ нужен делитель $n-1$.

Почему разница заметна только на маленьких выборках

Скрыть

Две оценки отличаются множителем: $\frac{\sum(x_i-\bar x)^2}{n}=\frac{n-1}{n}\cdot s^2$. При $n=2$ это половина, при $n=10$ — $0{,}9$, при $n=100$ — $0{,}99$. Поэтому на больших выборках делители почти не различаются, а на маленьких ошибка велика. Мы брали выборки с возвратом; именно для такого отбора среднее оценок $s^2$ в точности равно дисперсии совокупности. Без возврата из $2$, $4$, $6$ получились бы ложки $2;4$, $2;6$, $4;6$ с оценками $s^2$ (делитель $n-1$) $2$, $8$, $2$, и их среднее равно $4$, а не $\frac83$: для маленькой кастрюли отбор без возврата отличается. Если совокупность огромна, отбор без возврата почти не отличается от отбора с возвратом.

Стандартное отклонение возвращает разброс к единицам данных

Вернемся к ложкам. У дисперсии неудобные единицы: для яблок это граммы в квадрате. Чтобы сказать, насколько типичное значение в ложке отходит от ее центра, и выразить это в граммах, из дисперсии извлекают корень.

Определение

Выборочное стандартное отклонение — корень из выборочной дисперсии; оно измеряется в тех же единицах, что и данные:

$$s=\sqrt{s^2}$$

Для яблок $s=\sqrt{34{,}5}\approx5{,}9$ г: типичное яблоко отличается от среднего примерно на $6$ г. Не путайте $s$ и $s^2$: если в задаче просят дисперсию, корень не извлекают, если стандартное отклонение — извлекают.

Пример

Возьмем по ложке из двух кастрюль: средние у ложек одинаковые, а разброс значений в них разный. Разброс и покажет, какая выборка стабильнее.

Задача. Два автомата фасуют крупу в пачки по $500$ г. Из продукции каждого взяли по пять пачек. Автомат А: $498$, $502$, $500$, $499$, $501$ г. Автомат Б: $490$, $510$, $500$, $495$, $505$ г. Какой автомат работает точнее?

Решение. Средние у обоих равны $500$ г, по среднему автоматы не различить. Сравним разброс.

А: отклонения $-2$, $2$, $0$, $-1$, $1$; сумма квадратов $4+4+0+1+1=10$; $s^2=\frac{10}{4}=2{,}5$; $s\approx1{,}6$ г.

Б: отклонения $-10$, $10$, $0$, $-5$, $5$; сумма квадратов $100+100+0+25+25=250$; $s^2=\frac{250}{4}=62{,}5$; $s\approx7{,}9$ г.

Ответ: автомат А точнее: его пачки отличаются от среднего примерно на $1{,}6$ г, а у Б — почти на $8$ г.

Два автомата с одним средним 500: у А разброс s ≈ 1,6, у Б s ≈ 7,9
Средние равны, но у автомата Б точки дальше от центра — его стандартное отклонение больше

Обратите внимание

В ложку попала косточка, то есть выброс — значение, резко выбивающееся из остальных. Среднее и дисперсия чувствительны к выбросам. Медиана обычно устойчивее среднего к отдельным выбросам: она определяется центральными позициями упорядоченного ряда. Но при замене наблюдения медиана может измениться: замена $1$ на $100$ в наборе $1$, $2$, $3$ меняет ее с $2$ на $3$. Если в выборке яблок массу $155$ г по ошибке записать как $515$, среднее станет $\frac{1120}{5}=224$ г, а медиана — среднее по порядку значение — останется $152$ г. Поэтому при подозрении на выброс полезно сравнить среднее с медианой: сильное расхождение — повод проверить данные.

Вывод

Выборочные характеристики — это вкус ложки, по которому судят о кастрюле. Они нужны всюду, где всю совокупность измерить нельзя: в контроле качества, опросах, медицине и в следующих уроках модуля. Каждая оценка колеблется от выборки к выборке, и важно, чтобы она не ошибалась в одну сторону.

Часто задаваемые вопросы

Почему в 8 классе дисперсию делили на n, и это не было ошибкой?

Там считали разброс самого набора чисел: для этого сумму квадратов отклонений делят на $n$. Это число тоже можно использовать как оценку дисперсии совокупности. При независимом равновероятном отборе с возвратом такая оценка смещена, если дисперсия положительна; оценка с делителем $n-1$ при $n\ge2$ несмещенная.

Значит ли деление на n−1, что оценка всегда будет точной?

Нет. Конкретная выборка может дать $s^2$ и больше, и меньше настоящей дисперсии: в примере с кастрюлей $2$, $4$, $6$ оценки были от $0$ до $8$. При независимом равновероятном отборе с возвратом и $n\ge2$ делитель $n-1$ обеспечивает несмещенность — совпадение с дисперсией совокупности в среднем по всем выборкам. Для большой совокупности и малой случайной выборки без возврата это приближение.

Почему бы не считать отклонения от настоящего среднего совокупности?

Если среднее совокупности известно, так и делают, и тогда делят на $n$. Но обычно оно неизвестно — мы его как раз оцениваем. Приходится брать $\bar x$, и именно это требует поправки $n-1$.

Когда разница между делителями n и n−1 несущественна?

Когда выборка большая: оценки отличаются множителем $\frac{n-1}{n}$. При $n=200$ это $0{,}995$, то есть меньше процента разницы. На выборках из 3–10 значений разница заметна.

Награды за урок
5
5
1
Количество опыта, полученного за урок 5
Ускорьте прогресс с полным доступом

Переходите к следующим темам и закрепляйте пройденное на практике.

  • Более 330 000 пользователей по всей России, из них 39 000 учителей.
  • Повышение среднего балла по предмету до 20 % после месяца занятий.
  • Всплеск интереса к учебе и более глубокое понимание предметов.
Не потеряйте прогресс!

Создайте бесплатный аккаунт — и откройте больше возможностей:

  • Отслеживайте прогресс освоения тем
  • Получайте персональные подборки полезных уроков и заданий
  • Проводите работу над ошибками после занятий

Спросить Зави Спросить Зави
Получить еще подсказку

Верно! Посмотрите пошаговое решение

Предложить улучшение