Аналитика / Описательная статистика
Расстояние Махаланобиса через ковариацию
Расстояние Махаланобиса измеряет отклонение вектора от центра с учётом масштаба и корреляции признаков. Его квадрат вычисляется как квадратичная форма с обратной ковариацией.
Формула
Показан один уровень D = 1 при положительной ковариации.
Обозначения
- $D_M$
- Расстояние Махаланобиса, —
- $x$
- Вектор наблюдения, единицы признаков
- $μ$
- Вектор центра, единицы признаков
- $Σ$
- Ковариационная матрица, попарные произведения единиц
Условия применения
Порядок признаков в векторе, среднем и ковариационной матрице совпадает. Матрица симметрична и положительно определена. Если цель описательная, достаточно такого масштаба расстояния. Для вероятностного порога нужны дополнительные предпосылки о распределении и способе оценки параметров.
Ограничения
При почти линейной зависимости признаков малое собственное значение усиливает ошибки оценивания и округления. Сингулярную ковариацию нельзя обратить. Замена на регуляризованную матрицу меняет геометрию расстояния. Наличие большого расстояния само по себе не объясняет причину отклонения.
Подробное объяснение
При попарно некоррелированных признаках квадрат расстояния равен сумме квадратов отклонений, делённых на соответствующие дисперсии. Эта нормировка позволяет сложить величины, которые исходно были измерены в разных единицах.
В общем случае мысленно повернём координаты по главным осям ковариации. В этом базисе каждое отклонение делится на стандартное отклонение вдоль своей оси. Затем вычисляется обычная евклидова длина преобразованного вектора. Именно поэтому линии равного расстояния в двух измерениях имеют форму эллипсов.
У пары положительно коррелированных датчиков направление совместного изменения обычно имеет большую дисперсию. Одинаковые по модулю отклонения в противоположных направлениях могут быть гораздо необычнее. Расстояние отражает это различие, хотя обычная длина обоих векторов одинакова.
Для вычисления можно решить линейную систему Σu = x − μ и вычислить скалярное произведение отклонения с u. Явное обращение матрицы не требуется. Если признаки пересчитаны в другие единицы, преобразуйте вместе с ними и матрицу ковариации.
Как пользоваться формулой
- Составьте вектор отклонений от центра в том же порядке признаков, который используется в ковариационной матрице.
- Проверьте, что ковариационная матрица положительно определена и её размер совпадает с числом признаков.
- Решите систему с ковариационной матрицей и вектором отклонений в качестве правой части.
- Умножьте результат скалярно на исходное отклонение и извлеките квадратный корень для получения расстояния.
Историческая справка
В 1936 году Прасанта Чандра Махаланобис опубликовал работу об обобщённом расстоянии в статистике. История этого результата связана с задачей сравнения групп по нескольким совместно измеренным признакам. В ретроспективе о работах Махаланобиса и Рао приводится обозначение D², подчёркивающее, что в исследованиях часто используют квадрат расстояния. Современный курс Penn State показывает связь таких квадратов с многомерным нормальным распределением и использует их на диагностическом графике. Геометрическая часть вычисления при этом шире конкретного теста: та же квадратичная форма задаёт расстояние относительно положительно определённого ковариационного масштаба.
Историческая линия формулы
Название связано с публикацией Махаланобиса 1936 года об обобщённом статистическом расстоянии. Здесь используется расстояние от наблюдения до центра с заданной ковариацией. Вероятностная калибровка рассматривается отдельно от определения меры.
Пример
Два стандартизованных показателя имеют нулевой центр, единичные дисперсии и ковариацию 0,5. Найдём расстояния для наблюдений (1, 1) и (1, −1). Ковариационная матрица имеет собственные значения 1,5 вдоль направления (1, 1) и 0,5 вдоль направления (1, −1). У каждого вектора квадрат обычной длины равен 2. Делим эти квадраты на соответствующие дисперсии: получаем 4/3 и 4. Расстояния равны 2/√3 и 2. Они безразмерны. Второе сочетание хуже соответствует типичному направлению совместного разброса, поэтому при одинаковой евклидовой длине его расстояние больше.
Частая ошибка
При публикации результата укажите, взяли ли квадратный корень: D и D² имеют разные пороги. Не переносите ковариацию между исходной и стандартизованной шкалами. Замена полной матрицы только её диагональю теряет корреляцию. Автоматический порог по χ² требует проверки статистической постановки.
Практика
Задачи с решением
Две некоррелированные координаты
Условие. Дисперсии равны 4 и 9, отклонение равно (2, 3). Найдите D².
Решение. Делим квадраты отклонений на дисперсии: 4/4 + 9/9.
Ответ. D² = 2.
Совпадение с центром
Условие. Наблюдение совпало с центром. Чему равно расстояние при невырожденной ковариации?
Решение. Вектор отклонений нулевой, его квадратичная форма также равна нулю.
Ответ. D = 0.
Дополнительные источники
- https://ndlsearch.ndl.go.jp/books/R100000136-I1570009750602027136
- https://pmc.ncbi.nlm.nih.gov/articles/PMC7382324/
- https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.mahalanobis.html
Связанные формулы
Аналитика
Одновыборочный критерий Хотеллинга T²
Одновыборочный критерий Хотеллинга проверяет заданный вектор средних с учётом ковариации признаков. Для нормальной выборки статистика пересчитывается в F-распределение.
Аналитика
Накопленная доля дисперсии в методе главных компонент
Накопленная доля объяснённой дисперсии в PCA равна сумме первых k собственных значений, делённой на их полную сумму. По ней выбирают размерность линейного представления.
Аналитика
Ковариация многомерного сглаживания MEWMA
При общем весе λ и независимых входных наблюдениях предельная ковариация вектора MEWMA равна λ/(2 − λ), умноженному на ковариацию наблюдения. На старте действует дополнительный множитель.
Математика
Ковариация двух случайных величин
Формула «Ковариация двух случайных величин» задает численную характеристику вероятностной модели. Она переводит исходы, вероятности или наблюдения в показатель, который удобно считать, сравнивать и проверять.