Алина Савельева | Как мы запускали новую модель продвижения - матчинг и региональные тесты

Summary

Алина, аналитик в компании Avito, рассказала о запуске нового инструмента для продвижения краткосрочной аренды и проведении A/B тестов для оценки его эффективности. Основное внимание уделено преодолению сетевых эффектов, возникающих из-за взаимодействия пользователей в разных регионах. Для минимизации этих эффектов были проведены региональные тесты и использованы методы подбора пользователей (matching), чтобы сбалансировать контрольные и тестовые группы. Алина также поделилась подходами к проверке репрезентативности данных и важностью корректной настройки эксперимента для получения достоверных результатов.

Takeaways

• 😀 Важно понимать, что сетевые эффекты могут сильно влиять на результаты A/B тестов, особенно если тестовая и контрольная группы не случайны.
• 😀 Региональные тесты помогают минимизировать влияние сетевых эффектов, разделяя пользователей по географическому положению.
• 😀 Для сравнения групп в тестах, когда их распределение не случайное, используется метод матчинга, чтобы подобрать максимально схожих пользователей.
• 😀 Матчинг может быть с возвращением или без. С возвращением один пользователь из контрольной группы может попасть в пару к нескольким пользователям из тестовой группы.
• 😀 Оценка качества матчинга включает проверку метрик для подбора пар, таких как стандартизированная разница средних и Population Stability Index.
• 😀 Для формирования контрольной группы важно выравнивать группы по ключевым меткам, таким как выручка и количество бронирований, чтобы исключить смещение.
• 😀 Когда подход к матчинг не работает или приводит к значительному количеству неудовлетворительных пар, стоит отказаться от использования модели для анализа.
• 😀 Для оценки эффекта после матчинга важно проверить, совпадает ли результат с предварительными ожиданиями, используя методы валидации, такие как метод Монтекарло.
• 😀 Когда процент неудовлетворительных матчей велик, важно переосмыслить подход к тестированию и, возможно, отказаться от анализа, если выборка становится смещенной.
• 😀 Матчинг и региональные тесты — это мощные инструменты для работы с неслучайным распределением, но важно внимательно следить за качеством подбора и избегать ложных выводов.

Q & A

Какова основная цель подбора пары для пользователей в задаче мачинга?

Основная цель подбора пары — это создать контрольную группу для пользователей в A/B тестировании, чтобы сравнить результаты теста с контрольными данными и получить точные и объективные выводы.

Что делать, если не удается подобрать пару для пользователя?

Если не удается подобрать пару для пользователя, то его наблюдения исключаются из анализа. Это может быть связано с тем, что для данного пользователя нет подходящего аналога в контрольной группе.

Каким образом определяется минимальная близость при подборе пары?

Минимальная близость определяется заранее установленным параметром. Если степень сходства между пользователями теста и контроля ниже этого порога, пара не подбирается, и пользователь исключается из дальнейшего анализа.

Как влияет наличие пользователей, для которых не удалось подобрать пару, на репрезентативность выборки?

Если таких пользователей мало, это не влияет на репрезентативность выборки. Однако если их процент велик, это может искажать результаты, и необходимо внимательно анализировать такие случаи.

Что происходит, если процент пользователей без пары слишком велик?

Если процент таких пользователей велик, то это может сигнализировать о том, что контрольная группа не репрезентирует тестовую. В этом случае модель не используется, так как выводы из такого теста будут ненадежными.

Как осуществляется проверка, влияет ли исключение неподобранных пользователей на результаты теста?

Проводится сравнение распределений теста до и после исключения неподобранных пользователей. Если результаты остаются схожими, можно продолжать использовать модель. Если различия велики, модель отклоняется.

Что делать, если выявлен высокий процент неподобранных пользователей?

Если процент неподобранных пользователей высок, рекомендуется отказаться от использования данной модели, поскольку это означает, что невозможно провести полноценный анализ с текущими данными.

Какова основная задача при оценке модели с использованием мачинга?

Основная задача — это обеспечить, чтобы контрольная группа была репрезентативной для тестовой, и исключение неподобранных пользователей не искажало результаты теста.

Почему важно учитывать процент неподобранных пользователей при анализе результатов A/B тестирования?

Важно учитывать процент неподобранных пользователей, так как их наличие может указывать на проблемы в репрезентативности контрольной группы, что может привести к некорректным выводам о тестируемом продукте или услуге.

Как можно минимизировать влияние неподобранных пользователей в модели?

Для минимизации влияния неподобранных пользователей можно уменьшить минимальную близость для подбора, изменить параметры контроля и использовать другие методы анализа, такие как отказ от мачинга в некоторых случаях или перераспределение пользователей.