Аналитика / Описательная статистика
Винзоризированное среднее: замена крайних значений
Винзоризированное среднее ограничивает влияние хвостов: k нижних значений заменяют ближайшей оставшейся границей, k верхних — верхней границей. Количество наблюдений и знаменатель n сохраняются.
Формула
Все пять наблюдений остаются в преобразованном наборе.
Обозначения
- $x₍ᵢ₎$
- i-е значение упорядоченной исходной выборки, единицы X
- $n$
- число исходных наблюдений, безразмерная величина
- $k$
- число заменяемых значений в каждом хвосте, безразмерная величина
- $x̄W$
- среднее после винзоризации, единицы X
Условия применения
Наблюдения числовые и упорядочены по возрастанию; k — целое неотрицательное, 2k<n. Нижняя граница равна x₍k+1₎, верхняя x₍n−k₎. В этой статье границы берутся по позициям, без интерполяции квантилей; правило выбора k задаётся до сравнения результатов.
Ограничения
Замена значений меняет сумму данных, поэтому это не среднее фактических денежных поступлений или иных итогов, которые требуется сохранить. Методы с интерполированными процентилями могут дать другие границы. Винзоризация не доказывает, что крайние наблюдения ошибочны, и не должна скрывать их существование.
Подробное объяснение
После сортировки выберем центральный участок от позиции k+1 до n−k. Все значения ниже него заменяются первым значением участка, а все выше — последним. Центральные наблюдения остаются прежними. В отличие от удаления строк, в преобразованном наборе по-прежнему n чисел.
Сумма центрального участка уже содержит обе граничные позиции. К ней добавляются k копий нижней границы и k копий верхней. Поэтому в формуле стоит k, а не k+1 перед дополнительными членами: ещё одна копия каждой границы уже включена в знак суммы.
Если крайнее наблюдение увеличится, оставаясь за той же верхней границей, винзоризированное среднее не изменится. Но если изменится сама граница, результат тоже сдвинется. Устойчивость не означает полную нечувствительность ко всем изменениям набора.
При k=0 замены отсутствуют и получается обычное среднее. По сравнению с усечённым средним границы здесь имеют дополнительный вес, поскольку представляют заменённые хвосты. На асимметричном наборе это различие хорошо заметно, хотя на некоторых симметричных данных ответы совпадают.
Воспроизводимый отчёт должен указывать k, способ получения границ и факт преобразования. Исходный набор следует сохранять: для анализа причин задержек, экстремальных расходов или ошибок измерения сами хвосты могут быть наиболее важной частью данных.
Как пользоваться формулой
- Отсортируйте значения и выберите целое k с каждого края так, чтобы центральный участок не был пустым.
- Определите границы по позициям k+1 и n−k; не подменяйте их интерполированными квантилями без оговорки.
- Замените k нижних значений нижней границей, а k верхних верхней; центральный участок сохраните.
- Сложите все n преобразованных значений, разделите на n и подпишите результат как винзоризированный.
Историческая справка
Винзоризация закрепилась в практике устойчивой статистики как способ ограничивать влияние хвостов путём замены, а не удаления наблюдений. Современный справочник NIST Dataplot выделяет саму операцию Winsorize и отдельно винзоризированное среднее. В статистической работе XX–XXI веков эта операция применяется рядом с усечением, но имеет собственную систему весов и сохраняет длину выборки. Наличие нескольких соглашений о процентильных границах объясняет, почему одинаковый процент обработки в разных программах не всегда приводит к одинаковому набору. Здесь исторический контекст не используется для оправдания автоматической очистки: процедура является выбором аналитика и должна быть раскрыта. В статье зафиксированы целочисленное k и границы по порядковым позициям, что позволяет проверить каждую замену вручную.
Историческая линия формулы
Винзоризированное среднее — общепринятое название устойчивой оценки после ограничения хвостов. В этой статье не устанавливается приоритет отдельной публикации; определение сверяется со справочником NIST. Для точного воспроизведения указаны позиции границ и сохранение исходного числа наблюдений.
Пример
В наборе 0,2,3,8,100 секунд выполним винзоризацию с k=1 с каждого края. Нижняя граница — второе значение 2 с, верхняя — четвёртое 8 с. Получаем 2,2,3,8,8 с, сумма 23 с и среднее 23/5 = 4,6 с. Проверка по формуле: центральная сумма 2+3+8=13, добавляем по одной границе 2 и 8, всего 23. Усечённое среднее для того же k равно 13/3 ≈ 4,3333 с, поскольку там крайние строки удалены. Обычное среднее исходных измерений равно 113/5 = 22,6 с. Все три результата отвечают разным правилам обработки; винзоризация не объявляет значение 100 с ошибкой измерения.
Частая ошибка
Не делите винзоризированную сумму на n−2k: наблюдения заменены, а не удалены. Не добавляйте k+1 копий границ сверх центральной суммы. Не округляйте границы раньше расчёта. Не выдавайте преобразованное среднее за фактический средний расход исходных денег. Не смешивайте позиционные и интерполированные границы.
Практика
Задачи с решением
Симметричный центр
Условие. Винзоризируйте 1,2,3,4,100 при k = 1 и найдите среднее.
Решение. Получаем 2,2,3,4,4. Сумма 15, среднее 15/5 = 3.
Ответ. 3
Шесть наблюдений
Условие. Найдите винзоризированное среднее 0,1,2,3,4,20 при k = 1.
Решение. Границы 1 и 4; набор 1,1,2,3,4,4. Сумма 15, среднее 15/6 = 2,5.
Ответ. 2,5
Дополнительные источники
- https://www.itl.nist.gov/div898/software/dataplot/refman2/auxillar/winsor.htm
- https://www.itl.nist.gov/div898/software/dataplot/refman2/ch2/winsmean.pdf
Связанные формулы
Аналитика
Усечённое среднее: симметричное удаление крайних значений
Усечённое среднее получают, удалив одинаковое число наименьших и наибольших наблюдений, а затем усреднив оставшиеся. Параметр k задаёт число удалений с каждого края, а не общее число отброшенных значений.
Аналитика
Среднее арифметическое
Среднее арифметическое показывает типичный уровень числового показателя как сумму всех значений, деленную на количество наблюдений.
Аналитика
Правило выбросов по IQR
Правило 1,5 IQR помечает возможные выбросы: значение считают необычным, если оно меньше Q1 - 1,5*IQR или больше Q3 + 1,5*IQR. Это правило для первичной проверки, а не автоматического удаления строк.