Анализ пользовательской активности и оценка результатов A/B-тестирования

Описание проекта

Проект включает два аналитических исследования в области продуктовой аналитики и математической статистики.

Первая часть посвящена проверке статистической гипотезы о пользовательской активности сервиса Яндекс Книги. Цель исследования — определить, существуют ли статистически значимые различия в активности пользователей Москвы и Санкт-Петербурга.

Вторая часть посвящена анализу результатов A/B-тестирования интернет-магазина BitMotion Kit. Цель исследования — оценить корректность проведения эксперимента и определить, оказал ли новый дизайн сайта статистически значимое влияние на конверсию пользователей в покупку.

---

Цель проекта

Определить:

• существуют ли различия в пользовательской активности между двумя городами;
• можно ли считать выявленные различия статистически значимыми;
• привёл ли новый дизайн сайта к росту конверсии;
• насколько результаты эксперимента соответствуют ожидаемому эффекту;
• можно ли рекомендовать внедрение новой версии продукта.

---

Используемые технологии

• Python
• Pandas
• Matplotlib
• SciPy
• Statsmodels
• Jupyter Notebook

---

Выполненные задачи

Подготовка данных

• Исследование структуры данных.
• Обработка пропущенных значений.
• Поиск и удаление дубликатов.
• Проверка корректности данных.

Проверка статистических гипотез

• Формулирование нулевой и альтернативной гипотез.
• Анализ пользовательской активности.
• Проверка статистической значимости различий между группами.
• Интерпретация результатов статистических тестов.

Анализ A/B-теста

• Проверка корректности проведения эксперимента.
• Анализ контрольной и экспериментальной групп.
• Расчёт конверсии пользователей.
• Оценка статистической значимости различий.
• Сравнение фактического эффекта с ожидаемым MDE.

---

Используемые статистические методы

• Welch's t-test
• Z-test for Proportions
• Statistical Hypothesis Testing
• Confidence Intervals
• Conversion Analysis
• Sample Size Evaluation

---

Основные результаты

Исследование пользовательской активности

• Статистически значимых различий в средней пользовательской активности между Москвой и Санкт-Петербургом выявлено не было.
• Полученные различия могут объясняться случайными колебаниями выборки.

Анализ A/B-тестирования

• Экспериментальная группа продемонстрировала более высокую конверсию по сравнению с контрольной группой.
• Разница в конверсии оказалась статистически значимой.
• Фактический рост конверсии оказался ниже ожидаемого минимально детектируемого эффекта (MDE).
• Результаты эксперимента подтвердили положительное влияние нового дизайна на поведение пользователей.

---

Бизнес-рекомендации

По результатам исследования:

• Не выявлено оснований считать, что географический фактор оказывает существенное влияние на пользовательскую активность сервиса Яндекс Книги.
• Новая версия сайта BitMotion Kit демонстрирует улучшение конверсии и может быть рекомендована к внедрению после оценки экономической эффективности полученного эффекта.
• При планировании будущих экспериментов рекомендуется учитывать фактические размеры эффекта и необходимый объём выборки.

---

Полученные навыки

• Statistical Hypothesis Testing
• A/B Testing
• Product Analytics
• Conversion Analysis
• Confidence Intervals
• Data Cleaning
• Exploratory Data Analysis (EDA)
• Python
• Pandas
• SciPy
• Statsmodels

---

Файлы проекта

• ab_test_and_hypothesis_testing.ipynb — аналитическое исследование и анализ результатов A/B-тестирования.
• README.md — описание проекта.

---

Автор

Артемий Ильин