Предмет

Аналитика, страница 2

Формулы для статистики, A/B-тестов, прогнозирования, продуктовых метрик, когорт и качества данных.

106 формул

Все формулы раздела

Показаны 61-106 из 106. Остальные формулы доступны на соседних страницах раздела.

Размер эффекта Cohen's d для двух средних

Размер эффекта Cohen's d для двух средних: формула d=\frac{\bar x_1-\bar x_2}{s_p} помогает величины d, x_1, x_2, s_p заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$d=\frac{\bar x_1-\bar x_2}{s_p}$

Коэффициент V Крамера для таблицы сопряженности

Коэффициент V Крамера для таблицы сопряженности: формула V=\sqrt{\frac{\chi^2}{n(k-1)}} помогает требуется требуется требуется требуется требуется требуется оценить силу связи в категориальной таблице. В тексте есть условия, пример, ошибки и проверка результата.

$V=\sqrt{\frac{\chi^2}{n(k-1)}}$

Precision, recall и F1 для классификации

Precision, recall и F1 для классификации: формула F_1=\frac{2PR}{P+R} помогает требуется требуется требуется требуется требуется важны и точность, и полнота. В тексте есть условия, пример, ошибки и проверка результата.

$F_1=\frac{2PR}{P+R}$

ROC AUC методом трапеций по точкам

ROC AUC методом трапеций по точкам: формула AUC=\sum\frac{TPR_i+TPR_{i-1}}{2}(FPR_i-FPR_{i-1}) помогает величины AUC, TPR, FPR заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$AUC=\sum\frac{TPR_i+TPR_{i-1}}{2}(FPR_i-FPR_{i-1})$

Binary log loss для вероятностной классификации

Binary log loss для вероятностной классификации: формула L=-\frac1n\sum(y\log p+(1-y)\log(1-p)) помогает величины L, n, y, p заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$L=-\frac1n\sum(y\log p+(1-y)\log(1-p))$

Brier score для вероятностного прогноза

Brier score для вероятностного прогноза: формула BS=\frac1n\sum(p_i-y_i)^2 помогает величины BS, p_i, y_i, n заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$BS=\frac1n\sum(p_i-y_i)^2$

sMAPE для ошибки прогноза

sMAPE для ошибки прогноза: формула sMAPE=\frac{100}{n}\sum\frac{|F_t-A_t|}{(|A_t|+|F_t|)/2} помогает величины F_t, A_t, n заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$sMAPE=\frac{100}{n}\sum\frac{|F_t-A_t|}{(|A_t|+|F_t|)/2}$

MASE для сравнения прогноза с наивной моделью

MASE для сравнения прогноза с наивной моделью: формула MASE=\frac{MAE}{MAE_{naive}} помогает величины MASE, MAE заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$MASE=\frac{MAE}{MAE_{naive}}$

Сезонный наивный прогноз временного ряда

Сезонный наивный прогноз временного ряда: формула \hat y_{t}=y_{t-m} помогает величины y, t, m заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$\hat y_{t}=y_{t-m}$

Автокорреляция временного ряда на лаге k

Автокорреляция временного ряда на лаге k: формула r_k=\frac{\sum(y_t-\bar y)(y_{t-k}-\bar y)}{\sum(y_t-\bar y)^2} помогает требуется требуется требуется требуется требуется требуется проверить, повторяется ли ряд с задержкой k. В тексте есть условия, пример, ошибки и проверка результата.

$r_k=\frac{\sum(y_t-\bar y)(y_{t-k}-\bar y)}{\sum(y_t-\bar y)^2}$

MAE регрессии по остаткам

MAE регрессии по остаткам: формула MAE=\frac1n\sum|y_i-\hat y_i| помогает величины MAE, y_i, y_hat, n заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$MAE=\frac1n\sum|y_i-\hat y_i|$

Скорректированный R-squared регрессии

Скорректированный R-squared регрессии: формула R^2_{adj}=1-(1-R^2)\frac{n-1}{n-p-1} помогает величины R, n, p заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

$R^2_{adj}=1-(1-R^2)\frac{n-1}{n-p-1}$

Гармоническое среднее: скорости на равных участках

Гармоническое среднее усредняет положительные величины через их обратные значения. Для движения по равным участкам оно даёт среднюю скорость всего пути, учитывая разное время на каждом участке.

$H=\frac{n}{\sum_{i=1}^{n}1/x_i}$

Геометрическое среднее: произведение и темпы изменения

Геометрическое среднее заменяет набор положительных множителей одним одинаковым множителем, сохраняя их произведение. Для последовательных изменений оно усредняет коэффициенты роста, а не проценты напрямую.

$G=\left(\prod_{i=1}^{n}x_i\right)^{1/n}=\exp\left(\frac{1}{n}\sum_{i=1}^{n}\ln x_i\right)$

Моментный коэффициент асимметрии: расчёт по выборке

Моментный коэффициент асимметрии нормирует средний куб отклонений на масштаб разброса. Положительный знак показывает преобладание правых кубических отклонений, отрицательный — левых.

$g_1=\frac{m_3}{m_2^{3/2}},\qquad m_k=\frac1n\sum_{i=1}^{n}(x_i-\bar x)^k$

Эксцесс распределения: расчёт через четвёртый момент

Эксцесс сравнивает нормированный четвёртый центральный момент с уровнем нормального распределения. В этой записи нормальный закон имеет эксцесс 0, а ненормированный по смещению коэффициент куртозиса равен 3.

$g_2=\frac{m_4}{m_2^2}-3,\qquad m_k=\frac1n\sum_{i=1}^{n}(x_i-\bar x)^k$

Неравенство Чебышёва: граница вероятности отклонения

Неравенство Чебышёва ограничивает вероятность отклонения случайной величины от её среднего через дисперсию. Оно не требует нормального распределения и даёт верхнюю границу, а не точную вероятность события.

$P(|X-\mu|\ge a)\le\min\left(1,\frac{\sigma^2}{a^2}\right),\qquad a>0$

Корреляция Спирмена: связь между рангами величин

Коэффициент Спирмена измеряет согласованность порядка двух величин. Формула через квадраты разностей рангов применяется без совпадающих значений; при связках используют корреляцию средних рангов.

$r_s=1-\frac{6\sum_{i=1}^{n}d_i^2}{n(n^2-1)}$

Коэффициент Кендалла тау-а: согласованные пары

Коэффициент Кендалла тау-а сравнивает числа согласованных и несогласованных пар наблюдений. Без совпадений это разность долей пар с одинаковым и противоположным порядком двух показателей.

$\tau_a=\frac{C-D}{\binom{n}{2}}=\frac{2(C-D)}{n(n-1)}$

Медианное абсолютное отклонение MAD: устойчивый разброс

MAD — медиана абсолютных расстояний наблюдений от медианы выборки. Эта мера разброса меньше реагирует на отдельные крайние значения, чем стандартное отклонение, и сохраняет единицы исходной величины.

$m=\operatorname{med}(x_1,\ldots,x_n),\qquad MAD=\operatorname{med}_{i}|x_i-m|$

Усечённое среднее: симметричное удаление крайних значений

Усечённое среднее получают, удалив одинаковое число наименьших и наибольших наблюдений, а затем усреднив оставшиеся. Параметр k задаёт число удалений с каждого края, а не общее число отброшенных значений.

$\bar{x}_{\mathrm{trim}}=\frac{1}{n-2k}\sum_{i=k+1}^{n-k}x_{(i)}$

Винзоризированное среднее: замена крайних значений

Винзоризированное среднее ограничивает влияние хвостов: k нижних значений заменяют ближайшей оставшейся границей, k верхних — верхней границей. Количество наблюдений и знаменатель n сохраняются.

$\bar{x}_W=\frac{kx_{(k+1)}+\sum_{i=k+1}^{n-k}x_{(i)}+kx_{(n-k)}}{n}$

t-интервал для среднего при неизвестной дисперсии

Доверительный t-интервал оценивает среднее генеральной совокупности, когда её дисперсия неизвестна и стандартное отклонение вычислено по выборке. Границы строят из выборочного среднего, стандартной ошибки и квантиля распределения Стьюдента.

$\bar{x}\pm t_{1-\alpha/2,n-1}\,\frac{s}{\sqrt{n}}$

Парный t-критерий: проверка среднего изменения

Парный t-критерий проверяет гипотезу о среднем различии двух связанных измерений. Сначала для каждого объекта вычисляют разность, затем сравнивают среднюю разность с заданным значением с учётом её выборочного разброса.

$t=\frac{\bar d-\mu_{d,0}}{s_d/\sqrt n},\quad d_i=Y_i-X_i$

Критерий χ² согласия: сравнение с распределением

Критерий χ² согласия сравнивает наблюдаемые частоты категорий с ожидаемыми частотами заданного вероятностного распределения. Статистика суммирует нормированные квадраты отклонений и оценивается по правому хвосту распределения χ².

$\chi^2=\sum_{i=1}^{k}\frac{(O_i-E_i)^2}{E_i},\quad E_i=np_i$

Расстояние полной вариации дискретных распределений

Расстояние полной вариации равно наибольшему расхождению вероятностей одного события по двум распределениям. Для конечного алфавита его считают как половину суммы модулей разностей.

$d_{\mathrm{TV}}(P,Q)=\frac12\sum_i|p_i-q_i|=\max_A|P(A)-Q(A)|$

Точный интервал Клоппера—Пирсона для биномиальной доли

Точный интервал Клоппера—Пирсона оценивает неизвестную вероятность успеха по числу успехов x в n независимых испытаниях Бернулли. Его границы находят из биномиальных хвостов; при доверии 95% покрытие не меньше 95%, но интервал может быть шире приближённых вариантов.

$p_{\mathrm{н}}=B^{-1}(\alpha/2; x,n-x+1),\quad p_{\mathrm{в}}=B^{-1}(1-\alpha/2; x+1,n-x)$

Точный критерий Мак-Немара для парных бинарных данных

Точный критерий Мак-Немара проверяет изменение доли бинарного исхода в связанных парах. При нулевой гипотезе и фиксированном числе разногласий m число переходов одного направления имеет биномиальное распределение с p=1/2; здесь приведён двусторонний p-value по равным хвостам.

$m=b+c,\quad X\mid m\sim\operatorname{Bin}(m,1/2),\quad p_{\mathrm{равн.хв.}}=\min\!\left(1,2\sum_{j=0}^{\min(b,c)}\binom{m}{j}2^{-m}\right)$

Точный критерий Фишера для таблицы 2×2

Точный критерий Фишера проверяет связь двух бинарных признаков в таблице 2×2 при условии фиксированных полей. Вероятность каждой допустимой таблицы задаёт гипергеометрическое распределение; здесь двусторонний p-value определён как сумма вероятностей таблиц, не превосходящих вероятность наблюдаемой таблицы.

$h(a)=\frac{\binom{c_1}{a}\binom{N-c_1}{r_1-a}}{\binom{N}{r_1}},\quad p_{\mathrm{2s}}=\sum_{a:\,h(a)\le h(a_{\mathrm{набл.}})}h(a)$

Интервал Ньюкомба, метод 10, для разности долей

Метод Ньюкомба 10 строит доверительный интервал для разности двух независимых биномиальных долей, сочетая Wilson score границы каждой группы по квадратам отклонений. Он не подменяет неопределённость разности простым Wald стандартным отклонением и сохраняет асимметрию у крайних долей.

$\begin{aligned}\hat p_i&=x_i/n_i,\\L_i,U_i&=\frac{\hat p_i+z^2/(2n_i)\pm z\sqrt{\hat p_i(1-\hat p_i)/n_i+z^2/(4n_i^2)}}{1+z^2/n_i},\\d_L&=d-\sqrt{(\hat p_1-L_1)^2+(U_2-\hat p_2)^2},\\d_U&=d+\sqrt{(U_1-\hat p_1)^2+(\hat p_2-L_2)^2}.\end{aligned}$

Точный интервал Гарвуда для пуассоновской частоты

Интервал Гарвуда оценивает постоянную интенсивность событий λ по счётчику x и суммарной экспозиции T. Границы выражаются квантилями χ²-распределения с 2x и 2(x+1) степенями свободы; при нуле событий нижняя граница равна нулю, а верхняя остаётся положительной.

$\lambda_L=\frac{\chi^2_{2x;\alpha/2}}{2T},\quad \lambda_U=\frac{\chi^2_{2(x+1);1-\alpha/2}}{2T},\quad \chi^2_{0;q}=0$

Критерий Неймана — Пирсона для двух простых гипотез

Критерий Неймана — Пирсона даёт максимальную мощность при заданном уровне значимости для двух простых гипотез. Нулевую гипотезу отклоняют, когда отношение правдоподобий в пользу альтернативы превышает порог. На самом пороге допускается случайный выбор.

$\varphi^*(x)=\begin{cases}1,&f_1(x)>c f_0(x),\\\gamma,&f_1(x)=c f_0(x),\\0,&f_1(x)<c f_0(x),\end{cases}\qquad \mathbb{E}_0[\varphi^*(X)]=\alpha$

Критерий Уилкса для сравнения вложенных статистических моделей

Критерий Уилкса сравнивает максимальные правдоподобия вложенных моделей. При выполнении условий регулярности удвоенный выигрыш в логарифме правдоподобия сравнивают с χ², а число степеней свободы равно разности размерностей моделей.

$D=2(\ell_1-\ell_0)\ \xrightarrow[H_0]{d}\ \chi^2_{d_1-d_0}$

Скор-критерий Рао по производной логарифма правдоподобия

Скор-критерий Рао проверяет, насколько сильно логарифм правдоподобия растёт при отходе от нулевого значения параметра. Квадрат производной в этой точке делят на информацию Фишера и сравнивают результат с χ².

$S=\frac{U(\theta_0)^2}{I(\theta_0)}\ \xrightarrow[H_0]{d}\ \chi^2_1$

Доверительный интервал по профильному правдоподобию

Профильный интервал объединяет значения интересующего параметра, при которых потеря максимального правдоподобия не превышает порог. Для каждого проверяемого значения остальные параметры оценивают заново.

$\begin{gathered}\ell_p(\psi)=\sup_\eta\ell(\psi,\eta)\\D(\psi)=2[\ell_p(\hat\psi)-\ell_p(\psi)]\\C_{1-\alpha}=\{\psi:D(\psi)\le\chi^2_{1;1-\alpha}\}\end{gathered}$

Оценка Каплана — Мейера при правом цензурировании

Оценка Каплана — Мейера восстанавливает долю объектов без события к заданному времени, когда некоторые наблюдения закончились раньше события. Кривая падает только в моменты событий.

$\widehat S(t)=\prod_{t_i\leq t}\left(1-\frac{d_i}{n_i}\right)$

Формула Гринвуда для ошибки оценки Каплана — Мейера

Формула Гринвуда оценивает выборочную дисперсию кривой Каплана — Мейера в заданный момент. Квадратный корень из дисперсии даёт стандартную ошибку этой оценки.

$\widehat{\mathrm{Var}}\!\left[\widehat S(t)\right]=\widehat S(t)^2\sum_{t_i\leq t}\frac{d_i}{n_i(n_i-d_i)}$

Сбалансированная точность бинарной классификации

Сбалансированная точность усредняет доли верных ответов внутри двух истинных классов. Положительный и отрицательный классы получают равный вес, даже если в выборке объектов одного класса намного больше.

$\operatorname{BA}=\frac12\left(\frac{TP}{TP+FN}+\frac{TN}{TN+FP}\right)$

Коэффициент Мэтьюса для бинарных предсказаний

Коэффициент Мэтьюса измеряет корреляцию между истинными и предсказанными бинарными метками. В нём участвуют все четыре числа матрицы ошибок, включая верно распознанные отрицательные объекты.

$\operatorname{MCC}=\frac{TP\,TN-FP\,FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}$

Каппа Коэна для согласия двух экспертов

Каппа Коэна сравнивает наблюдаемое согласие двух экспертов с тем, которое получилось бы при независимом выборе категорий с их фактическими долями.

$\kappa=\frac{p_o-p_e}{1-p_e},\qquad p_e=\sum_{j=1}^K p_{1j}p_{2j}$

Средняя точность AP по ранжированным оценкам модели

Average precision усредняет точность по порогам с весами, равными приростам полноты. Для разных оценок объектов это среднее точностей на позициях истинно положительных объектов.

$\operatorname{AP}=\sum_{i=1}^m (R_i-R_{i-1})P_i,\qquad R_0=0$

Линейный прогноз Хольта по уровню и тренду

Метод Хольта отдельно сглаживает текущий уровень ряда и скорость его изменения. Прогноз на несколько периодов получается продолжением обновлённого локального тренда.

$\begin{aligned}\ell_t&=\alpha y_t+(1-\alpha)(\ell_{t-1}+b_{t-1}),\\ b_t&=\beta^*(\ell_t-\ell_{t-1})+(1-\beta^*)b_{t-1},\\ \hat y_{t+h|t}&=\ell_t+hb_t.\end{aligned}$

Прогноз Хольта с затухающим трендом

Затухающий тренд Хольта уменьшает вклад каждого следующего шага. Прогноз сначала меняется в сторону наклона, а на больших горизонтах приближается к конечному уровню.

$\begin{aligned}\ell_t&=\alpha y_t+(1-\alpha)(\ell_{t-1}+\phi b_{t-1}),\\ b_t&=\beta^*(\ell_t-\ell_{t-1})+(1-\beta^*)\phi b_{t-1},\\ \hat y_{t+h|t}&=\ell_t+b_t\sum_{i=1}^h\phi^i.\end{aligned}$

Аддитивный прогноз Хольта — Уинтерса

В аддитивном методе Хольта — Уинтерса сезонный эффект измеряется в единицах наблюдений. Прогноз складывается из уровня, накопленного тренда и поправки для нужной фазы цикла.

$\begin{aligned}\ell_t&=\alpha(y_t-s_{t-m})+(1-\alpha)(\ell_{t-1}+b_{t-1}),\\ b_t&=\beta^*(\ell_t-\ell_{t-1})+(1-\beta^*)b_{t-1},\\ s_t&=\gamma(y_t-\ell_{t-1}-b_{t-1})+(1-\gamma)s_{t-m},\\ \hat y_{t+h|t}&=\ell_t+hb_t+s_{t+h-m(k+1)},\quad k=\lfloor(h-1)/m\rfloor.\end{aligned}$

Мультипликативный прогноз Хольта — Уинтерса

Мультипликативный метод Хольта — Уинтерса выражает сезонность коэффициентом. Один и тот же сезонный индекс сильнее меняет прогноз, когда уровень ряда выше.

$\begin{aligned}\ell_t&=\alpha y_t/s_{t-m}+(1-\alpha)(\ell_{t-1}+b_{t-1}),\\ b_t&=\beta^*(\ell_t-\ell_{t-1})+(1-\beta^*)b_{t-1},\\ s_t&=\gamma y_t/(\ell_{t-1}+b_{t-1})+(1-\gamma)s_{t-m},\\ \hat y_{t+h|t}&=(\ell_t+hb_t)s_{t+h-m(k+1)},\quad k=\lfloor(h-1)/m\rfloor.\end{aligned}$