Запуск экспериментов приложения с помощью тестирования A/B

  • Статья

Вы можете использовать Центр партнеров для определения удаленных переменных, которые можно получить во время выполнения из приложений универсальная платформа Windows (UWP), и вы можете протестировать варианты этих значений с помощью пользователей, чтобы определить наиболее эффективные значения для вождения требуемого поведения пользователей. Приложение может использовать удаленные переменные для настройки взаимодействия с приложениями, таких как покупки в приложении, поток регистрации, субтитры и размещение объявлений.

Целью теста A/B должно быть определение вариации значений удаленных переменных, которые, скорее всего, помогут повысить уровень преобразования (например, больше покупок в приложении), предоставив более привлекательный интерфейс приложения. После того как вы определили успешный вариант, вы можете немедленно завершить эксперимент и включить этот вариант для всей аудитории пользователей из Центра партнеров без повторной публикации приложения.

Создание и запуск теста A/B

Чтобы создать и запустить тест A/B, выполните следующие действия.

  1. Создайте проект и определите удаленные переменные в Центре партнеров. Этот проект содержит переменные и значения переменных по умолчанию для экспериментов.
  2. Код приложения для экспериментирования. Используйте API в пакете SDK служб Microsoft Store, чтобы получить значения удаленных переменных из проекта, созданного в Центре партнеров, используйте эти данные для изменения поведения проверяемой функции, а также отправки событий событий просмотра и преобразования в Центр партнеров.
  3. Определите эксперимент в Центре партнеров. Создайте эксперимент в проекте, который определяет уникальные цели и варианты для теста A/B.
  4. Запустите эксперимент и управляйте им на панели мониторинга Центра партнеров. Активируйте эксперимент и используйте Центр партнеров для просмотра результатов эксперимента и завершения эксперимента.

Пошаговое руководство, демонстрирующее комплексный процесс, см. в статье "Создание и запуск первого эксперимента с помощью A/B-тестирования".

Требования

Тестирование A/B в Центре партнеров поддерживается только для приложений UWP.

Прежде чем выполнять эксперименты с помощью A/B тестирования, необходимо настроить компьютер разработки:

  • Следуйте инструкциям здесь , чтобы настроить компьютер разработки для разработки UWP.
  • Установите пакет SDK служб Microsoft Store. Помимо API для экспериментов, этот пакет SDK также предоставляет API для других функций, таких как отображение рекламы и перенаправление клиентов в Центр отзывов для сбора отзывов о приложении.

Рекомендации

Для наиболее полезных результатов рекомендуется следовать этим рекомендациям при выполнении экспериментов с тестированием A/B:

  • Рекомендуется выполнять эксперименты только с двумя вариантами с случайным распределением 50/50 для назначений вариантов.
  • Выполните эксперименты по крайней мере на 2–4 недели, чтобы собрать достаточные данные, которые статистически значимы и практически.

Термин Определение
Project Коллекция удаленных переменных со значениями по умолчанию, к которым ваше приложение может получить доступ с помощью пакета SDK служб Microsoft Store. Проект также может содержать один или несколько экспериментов, которые используют одни и те же удаленные переменные.
Эксперимент Набор параметров, определяющих тест A/B, который будет получать пользователи. Эксперименты определяются в области проекта, и каждый эксперимент состоит из следующих элементов:

  • Событие представления, указывающее, когда пользователь начинает просматривать вариант, который является частью эксперимента.
  • Одна или несколько целей с событиями преобразования, указывающими, когда достигнута цель.
  • Один или несколько вариантов , определяющих данные переменной, используемые экспериментом. Вариант элемента управления использует значения переменных по умолчанию, определенные в проекте для эксперимента. В дополнение к варианту элемента управления эксперименты обычно имеют по крайней мере один дополнительный вариант с переменными значениями, уникальными для эксперимента.
Код проекта Уникальный идентификатор, который связывает приложение с проектом в учетной записи Центра партнеров. Этот идентификатор необходимо использовать для подключения к службе тестирования A/B в коде приложения для получения данных о вариантах и представлении отчетов и преобразования событий в Центр партнеров. Дополнительные сведения см. в разделе "Код приложения для экспериментирования".

Каждый проект и все эксперименты в проекте связаны с одним идентификатором проекта. Идентификаторы проектов позволяют различать различные наборы экспериментов. Например, у вас может быть один набор экспериментов, выпущенных тестировщикам в организации, и другой набор экспериментов, выпущенных только внешним пользователям приложения. Приложение может ссылаться на несколько идентификаторов проектов, если он реализует несколько экспериментов.
Изменение Коллекция одной или нескольких переменных, которые вы тестируете в эксперименте. Каждый эксперимент должен иметь по крайней мере одну переменную и два варианта (включая элемент управления). Эксперимент может иметь до пяти вариантов.
«Переменная» Значение, которое приложение использует для инициализации свойства или другого значения в приложении. Во время эксперимента значение переменной изменяется от варианта к варианту. После завершения эксперимента переменная назначается значение из варианта, который вы выбираете для всех пользователей приложения. Переменные могут иметь следующие типы: строковые, логические, двойные и целые числа.
Просмотр события Произвольная строка, представляющая действие, когда пользователь начинает просматривать вариант, который является частью эксперимента. Как правило, это имя события в коде. Код приложения отправит эту строку события представления в Центр партнеров, когда пользователь начнет просматривать вариант. Дополнительные сведения см. в разделе "Код приложения для экспериментирования".
Событие преобразования Произвольная строка, представляющая цель для цели эксперимента. Как правило, это имя события в коде. Код приложения отправит эту строку события преобразования в Центр партнеров, когда пользователь достигнет цели. Дополнительные сведения см. в разделе "Код приложения для экспериментирования".