Аналитика / Описательная статистика

Накопленная доля дисперсии в методе главных компонент

Накопленная доля объяснённой дисперсии в PCA равна сумме первых k собственных значений, делённой на их полную сумму. По ней выбирают размерность линейного представления.

Опубликовано: Обновлено:

Формула

$$P_k=\frac{\sum_{j=1}^{k}\lambda_j}{\sum_{j=1}^{p}\lambda_j}$$
Схема Доля дисперсии после добавления компонент
123400.250.50.751ДоляЧисло компонентПорог

При пороге 90 % достаточно трёх компонент.

Обозначения

$P_k$
Доля дисперсии первых k компонент, —
$λ_j$
Собственное значение ковариационной матрицы, единицы дисперсии
$k$
Число оставляемых компонент, —
$p$
Число исходных признаков, —

Условия применения

Собственные значения относятся к одной ковариационной или корреляционной матрице и упорядочены по убыванию. Общая дисперсия положительна. При выборе матрицы учитывают исходное масштабирование признаков: стандартизация может существенно изменить доли. Собственные значения неотрицательны; небольшие отрицательные значения из-за округления проверяют отдельно.

Ограничения

Большая доля дисперсии не гарантирует сохранения сигнала, важного для классификации или прогноза. При равных собственных значениях отдельные направления внутри их подпространства могут быть неединственными. Формула отражает качество линейного представления на выбранных данных и в выбранной шкале.

Подробное объяснение

После центрирования данных главные компоненты задают взаимно ортогональные направления. Первое направление выбирают по наибольшей дисперсии проекций. Следующее ищут среди ортогональных первому, и так далее. Дисперсия проекции на каждое направление равна соответствующему собственному значению.

Сумма всех собственных значений равна следу ковариационной матрицы, то есть сумме дисперсий исходных координат. Поэтому знаменатель можно независимо проверить по диагонали матрицы. Сумма первых k значений показывает, какая часть полного разброса сохранится в выбранном подпространстве.

Накопленная доля не убывает и в конце равна единице. Приращение на каждом шаге равно доле дисперсии очередной компоненты. Если полученные доли немного отличаются от единицы в сумме из-за округления, порог стоит проверять по собственным значениям до округления.

При ковариационной PCA признак с крупным числовым масштабом может задавать большую часть дисперсии. Корреляционная PCA сначала уравнивает дисперсии признаков. Выбор между подходами зависит от смысла единиц и от того, нужно ли считать одинаковыми относительные отклонения.

Как пользоваться формулой

  1. Уточните, рассчитана PCA по ковариации или корреляции, и возьмите значения из одной и той же матрицы.
  2. Отсортируйте собственные значения от наибольшего к наименьшему и сложите их без промежуточного округления.
  3. Посчитайте накопленную сумму первых k значений и разделите её на полную сумму дисперсий.
  4. Для заданного порога выберите первое k, при котором накопленная доля не меньше этого порога.

Историческая справка

Гарольд Хотеллинг опубликовал исследование о разложении набора статистических переменных на главные компоненты в 1933 году. Задача заключалась в том, чтобы описывать совместную изменчивость несколькими линейными комбинациями признаков. В учебном курсе Penn State собственное значение интерпретируется как дисперсия соответствующей компоненты, а сумма значений сравнивается со следом матрицы. Поэтому табличный отчёт PCA обычно показывает собственное значение, его долю и накопленную долю отдельными столбцами. В учебных материалах STAT 508 тот же расчёт связывают с сингулярным разложением центрированных данных, что объясняет необходимость квадрата сингулярного числа.

Историческая линия формулы

Работа Хотеллинга 1933 года служит историческим источником по анализу главных компонент. Формула накопленной доли использует дисперсии ортогональных проекций и полную дисперсию. Она применима к обоим указанным вариантам масштабирования данных.

Пример

Для четырёх признаков собственные значения ковариационной матрицы равны 5, 3, 1,5 и 0,5. Нужно сохранить не менее 90 % общей дисперсии. Полная сумма равна 10. Первая компонента сохраняет 5/10 = 50 %, две сохраняют (5 + 3)/10 = 80 %, три сохраняют (5 + 3 + 1,5)/10 = 95 %. Значит, минимально нужны три компоненты. Проверка: добавление четвёртой даёт ещё 0,5/10 = 5 %, и сумма доходит до 100 %. Доли безразмерны, так как собственные значения относятся к одной шкале дисперсии. На графике порог пересекается между результатами для двух и трёх компонент.

Частая ошибка

Используйте собственные значения ковариации, а не сами сингулярные числа центрированной таблицы. При работе через сингулярные числа их надо возвести в квадрат. Сумма только сохранённых значений в знаменателе ошибочно даст 100 %. Долю дисперсии нельзя читать как долю правильно классифицированных объектов.

Практика

Задачи с решением

Две одинаковые дисперсии

Условие. У матрицы два равных положительных собственных значения. Найдите долю первой компоненты.

Решение. Делим одно значение на удвоенное такое же значение.

Ответ. 50 %.

Порог для трёх значений

Условие. Собственные значения 8, 1 и 1. Сколько компонент нужно для порога 90 % включительно?

Решение. Первая даёт 80 %, первые две дают 9/10.

Ответ. Две компоненты.

Дополнительные источники

  • https://books.google.com/books/about/Analysis_of_a_Complex_of_Statistical_Var.html?hl=en&id=qJfXAAAAMAAJ
  • https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html

Связанные формулы

Аналитика

Расстояние Махаланобиса через ковариацию

$D_M=\sqrt{(x-\mu)^{\mathsf T}\Sigma^{-1}(x-\mu)}$

Расстояние Махаланобиса измеряет отклонение вектора от центра с учётом масштаба и корреляции признаков. Его квадрат вычисляется как квадратичная форма с обратной ковариацией.

Аналитика

Одновыборочный критерий Хотеллинга T²

$T^2=n(\bar x-\mu_0)^{\mathsf T}S^{-1}(\bar x-\mu_0),\qquad F=\frac{n-p}{p(n-1)}T^2$

Одновыборочный критерий Хотеллинга проверяет заданный вектор средних с учётом ковариации признаков. Для нормальной выборки статистика пересчитывается в F-распределение.

Аналитика

Ковариация многомерного сглаживания MEWMA

$\Sigma_t=\frac{\lambda}{2-\lambda}\bigl[1-(1-\lambda)^{2t}\bigr]\Sigma,\qquad \Sigma_\infty=\frac{\lambda}{2-\lambda}\Sigma$

При общем весе λ и независимых входных наблюдениях предельная ковариация вектора MEWMA равна λ/(2 − λ), умноженному на ковариацию наблюдения. На старте действует дополнительный множитель.

Математика

Ковариация двух случайных величин

$\operatorname{Cov}(X,Y)=M[(X-MX)(Y-MY)]$

Формула «Ковариация двух случайных величин» задает численную характеристику вероятностной модели. Она переводит исходы, вероятности или наблюдения в показатель, который удобно считать, сравнивать и проверять.