Все формулы РФ

Аналитика / Описательная статистика

Медианное абсолютное отклонение MAD: устойчивый разброс

MAD — медиана абсолютных расстояний наблюдений от медианы выборки. Эта мера разброса меньше реагирует на отдельные крайние значения, чем стандартное отклонение, и сохраняет единицы исходной величины.

Опубликовано: Обновлено:

Среднее, медианаСтраницы с задачами и решениямиЕсть историческая справкаГрафики, таблицы

Формула

$$m=\operatorname{med}(x_1,\ldots,x_n),\qquad MAD=\operatorname{med}_{i}|x_i-m|$$
Схема Две медианы для вычисления MAD
Две медианы для вычисления MADДве медианы для вычисления MADОперацияЗначения, сИсходные1, 2, 3, 4, 100Центр m3|x − m|2, 1, 0, 1, 97После сортировки0, 1, 1, 2, 97MAD1Большое расстояние 97 не стало средним

Медиана расстояний 0, 1, 1, 2, 97 равна 1 секунде.

Обозначения

$m$
медиана исходных наблюдений, единицы X
$MAD$
немасштабированное медианное абсолютное отклонение, единицы X
$xᵢ$
i-е наблюдение, единицы X
$n$
число наблюдений, безразмерная величина
$i$
индекс наблюдения, безразмерная величина

Условия применения

Наблюдения числовые, выборка непустая. В статье для чётного числа значений медиана определяется как среднее двух центральных после сортировки. Один и тот же способ медианы используется для исходных данных и абсолютных отклонений. Пропуски не считаются нулевыми измерениями.

Ограничения

MAD может равняться нулю при непостоянной выборке, если достаточно много наблюдений совпадает с медианой. Его нельзя без поправки называть стандартным отклонением. Множитель примерно 1,4826 даёт нормальную калибровку, полезную при нормальной модели, но не универсальную для любых распределений.

Подробное объяснение

Сначала находят устойчивый центр — медиану m. Затем каждое наблюдение заменяют расстоянием |xᵢ−m|. Модуль убирает знак: значения слева и справа от центра одинаково увеличивают расстояние. Второе взятие медианы характеризует типичный размер этих расстояний.

Среднее квадратов отклонений позволяет одному далёкому значению сильно увеличить дисперсию. У MAD крайнее расстояние занимает крайнее место в упорядоченном списке и не меняет его центральный элемент, пока порядок большинства расстояний сохраняется. Именно это делает меру устойчивой к небольшому числу крайних наблюдений.

При добавлении одной константы ко всем значениям медиана сдвигается на ту же константу, а расстояния не меняются. При умножении значений на a MAD умножается на |a|. Поэтому перевод секунд в миллисекунды масштабирует MAD в тысячу раз, как и сами измерения.

Термин MAD иногда употребляют для среднего абсолютного отклонения. Это другая величина: там внешняя операция — среднее, а не медиана. Кроме того, статистические пакеты могут по умолчанию возвращать масштабированное MAD. Для воспроизводимости нужно записывать формулу и использованный коэффициент.

Если все значения равны, расстояния нулевые и MAD=0. Обратное неверно: набор 2,2,2,9 тоже даёт нулевую медиану расстояний при принятом определении. Поэтому деление на MAD при стандартизации данных требует отдельной проверки ненулевого знаменателя.

Как пользоваться формулой

  1. Отсортируйте исходные наблюдения и найдите медиану, оговорив правило для чётного размера выборки.
  2. Вычислите абсолютное расстояние каждого исходного значения от найденной медианы, сохраняя единицы.
  3. Отсортируйте расстояния и возьмите их медиану; это немасштабированный MAD, используемый в формуле.
  4. Если применяете коэффициент нормальной калибровки, явно укажите его и не смешивайте два варианта MAD.

Историческая справка

Медианное абсолютное отклонение относится к устойчивым мерам масштаба, которые используют порядковые свойства данных вместо квадратичного веса каждого отклонения. В справочнике NIST оно рассматривается рядом со стандартным отклонением и межквартильным размахом. Документация R показывает ещё один важный этап практической стандартизации: функцию mad с отдельным коэффициентом калибровки. В статистике XX–XXI веков устойчивые оценки стали частью обычного исследовательского анализа данных, особенно при тяжёлых хвостах и отдельных загрязняющих наблюдениях. История метода здесь описывается через развитие практики и соглашений вычисления, без назначения единственного автора двум последовательным операциям медианы. Для пользователя важнее всего различать само определение и поправку для конкретной вероятностной модели.

Историческая линия формулы

MAD здесь означает median absolute deviation, то есть медиану абсолютных отклонений от медианы. Это стандартная устойчивая мера масштаба. Её не следует смешивать со средним абсолютным отклонением или нормированным вариантом, который некоторые программы возвращают по умолчанию.

Пример

Время пяти операций составило 1,2,3,4,100 секунд. Медиана исходных данных m=3 с. Абсолютные отклонения равны 2,1,0,1,97 с; после сортировки получаем 0,1,1,2,97. Их медиана MAD=1 с. Проверим устойчивость: если последняя операция заняла не 100, а 1000 секунд, последний модуль станет 997 с, но центральное расстояние останется 1 с. Это не означает, что задержка не важна: MAD описывает типичный разброс основной части данных, а крупное значение нужно рассмотреть отдельно. При нормальной калибровке результат был бы примерно 1,4826 с; здесь ответ 1 с относится к исходному, немасштабированному определению.

Частая ошибка

Не берите среднее расстояний вместо медианы. Не вычитайте среднее исходных наблюдений, если заявлен именно медианный MAD. Не забывайте единицы измерения. Не сравнивайте значение из пакета с множителем 1,4826 с ручным немасштабированным результатом. Не делите на MAD, пока не проверите, что он ненулевой.

Практика

Задачи с решением

Чётная выборка

Условие. Найдите MAD для 1,2,4,5 см.

Решение. Медиана 3 см. Расстояния 2,1,1,2 см; медиана отсортированных расстояний (1+2)/2 = 1,5 см.

Ответ. 1,5 см

Нулевой разброс по MAD

Условие. Найдите MAD для 2,2,2,9.

Решение. Медиана 2. Расстояния 0,0,0,7, их медиана 0. При этом выборка не постоянна.

Ответ. 0

Дополнительные источники

  • https://www.itl.nist.gov/div898/software/dataplot/refman2/auxillar/mad.htm
  • https://stat.ethz.ch/R-manual/R-devel/library/stats/html/mad.html

Связанные формулы

Аналитика

Медиана

$Me=x_{(\frac{n+1}{2})}\quad\text{для нечетного }n$

Медиана делит упорядоченный набор данных пополам: половина значений не больше медианы, а половина не меньше ее. Это устойчивая мера типичного значения.

Аналитика

Выборочное стандартное отклонение

$s=\sqrt{\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}$

Выборочное стандартное отклонение показывает типичный масштаб отклонения значений от среднего в исходных единицах показателя.

Аналитика

Квартили и межквартильный размах

$IQR=Q_3-Q_1$

Межквартильный размах, или IQR, показывает ширину средней половины данных: это разница между третьим и первым квартилем. Формула: IQR = Q3 - Q1.