Repository navigation
AB Test
A/B testing is a research method that evaluates how product changes affect selected metrics. Using an A/B test, you can determine which product version delivers better results and whether the difference is statistically significant.
- Automatic effect calculation for numerical and categorical features
- Additional test support: t-test, u-test (Mann-Whitney), chi2-test
- Multi-group testing (ABn)
- Flexible role management: detection of target, categorical, and auxiliary features
- T-test (with Welch's Test) and U-test - for numerical features (e.g., revenue, conversion)
- Chi2-test - for categorical features (e.g., gender, industry)
OK result → difference between groups is statistically significant
NOT OK → difference is insignificant
Welch's T-Test is applied in t-tests when group variances differ. This makes the t-test more reliable for unequal variances and/or group sizes. Learn more: Welch's t-test (Wikipedia).
- p-value: Probability of observing group differences by chance when no actual difference exists (details)
- p-value < 0.05 → difference is statistically significant
from hypex import ABTest
from hypex.dataset import Dataset, InfoRole, TargetRole, TreatmentRole
data = Dataset(
roles={
"user_id": InfoRole(int),
"treat": TreatmentRole(),
"pre_spends": TargetRole(),
"post_spends": TargetRole(),
"gender": TargetRole()
}, data="data.csv",
)
test = ABTest(additional_tests=['t-test', 'u-test', 'chi2-test'])
result = test.execute(data)
print(result.resume)| feature | group | control mean | test mean | difference | difference % | TTest pass | TTest p-value | UTest pass | UTest p-value | Chi2Test pass | Chi2Test p-value |
|---|---|---|---|---|---|---|---|---|---|---|---|
| pre_spends | 1 | 487.07 | 487.02 | -0.05 | -0.01% | NOT OK | 0.91 | NOT OK | 0.76 | NaN | NaN |
| post_spends | 2 | 451.70 | 451.86 | 0.16 | 0.04% | NOT OK | 0.86 | NOT OK | 0.57 | NaN | NaN |
| gender | 1 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NOT OK | 0.95 |
- The
differencecolumn in reports shows the gap between metric averages in test vs control groups. This difference represents ATE - the average treatment effect (e.g., new feature) on the selected metric. - difference % - relative percentage change between groups.
AB Testing in HypEx provides a fast, reliable way to compare groups, identify statistically significant differences, and generate transparent reports for all metrics.
A/B тестирование — это исследовательский метод, который позволяет оценить влияние изменений в продукте на выбранные метрики. С помощью A/B теста можно определить, какая из версий продукта дает лучший результат и насколько это различие статистически значимо.
- Автоматический расчет эффектов для числовых и категориальных признаков.
- Поддержка дополнительных тестов: t-test, u-test (Манна-Уитни), chi2-test.
- Мультигрупповые тесты (ABn).
- Гибкая работа с ролями: определение целевых, категориальных и дополнительных признаков.
- T-test(с поправкой Уэлча) и U-test — для числовых признаков (например, доход, конверсия).
- Chi2-test — для категориальных признаков (например, пол, индустрия).
Если результат по признаку — OK, значит, различие между группами статистически значимо. Если NOT OK — различие незначимо.
Поправка Уэлча применяется в t-тесте, если дисперсии в группах различаются. Это делает t-тест более надежным при неравных дисперсиях и/или размерах групп. Подробнее: Welch's t-test (Wikipedia).
- p-value — вероятность получить наблюдаемое различие между группами случайно, при условии, что различий нет (подробнее).
- Если p-value < 0.05, различие между группами считается статистически значимым.
from hypex import ABTest
from hypex.dataset import Dataset, InfoRole, TargetRole, TreatmentRole
data = Dataset(
roles={
"user_id": InfoRole(int),
"treat": TreatmentRole(),
"pre_spends": TargetRole(),
"post_spends": TargetRole(),
"gender": TargetRole()
}, data="data.csv",
)
test = ABTest(additional_tests=['t-test', 'u-test', 'chi2-test'])
result = test.execute(data)
print(result.resume)| feature | group | control mean | test mean | difference | difference % | TTest pass | TTest p-value | UTest pass | UTest p-value | Chi2Test pass | Chi2Test p-value |
|---|---|---|---|---|---|---|---|---|---|---|---|
| pre_spends | 1 | 487.07 | 487.02 | -0.05 | -0.01 | NOT OK | 0.91 | NOT OK | 0.76 | NaN | NaN |
| post_spends | 2 | 451.70 | 451.86 | 0.16 | 0.04 | NOT OK | 0.86 | NOT OK | 0.57 | NaN | NaN |
| gender | 1 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NOT OK | 0.95 |
- В колонке
differenceв отчёте выводится разница между средними значениями метрики в тестовой и контрольной группе. Эта разница и есть ATE — средний эффект воздействия (например, нового функционала) на выбранную метрику. - difference % — относительное изменение в процентах между группами.
A/B тест в HypEx — это быстрый и надежный способ сравнить группы, выявить статистически значимые различия и получить прозрачный отчет по всем метрикам.