Ausführen von App-Experimenten mit A/B-Tests

  • Artikel

Sie können Partner Center verwenden, um Remotevariablen zu definieren, die Sie zur Laufzeit aus Ihren Universelle Windows-Plattform (UWP)-Apps abrufen können, und Sie können Variationen dieser Werte mit Ihren Benutzern testen, um die effektivsten Werte für das gewünschte Benutzerverhalten zu ermitteln. Ihre App kann Remotevariablen verwenden, um App-Oberflächen wie In-App-Käufe, Registrierungsablauf, Beschriftungen und Anzeigenplatzierungen zu konfigurieren.

Das Ziel Ihres A/B-Tests sollte sein, eine Variation Ihrer Remotevariablenwerte zu identifizieren, die Ihnen wahrscheinlich verbesserte Konvertierungsraten (z. B. mehr In-App-Käufe) erzielen, indem sie eine ansprechendere App-Erfahrung bieten. Nachdem Sie eine erfolgreiche Variation identifiziert haben, können Sie das Experiment sofort beenden und diese Variante für Ihre gesamte Benutzergruppe aus Partner Center aktivieren, ohne Ihre App erneut veröffentlichen zu müssen.

Erstellen und Ausführen eines A/B-Tests

Führen Sie die folgenden Schritte aus, um einen A/B-Test zu erstellen und auszuführen:

  1. Erstellen Sie ein Projekt, und definieren Sie Remotevariablen im Partner Center. Dieses Projekt enthält die Variablen und Standardwerte für Ihre Experimente.
  2. Codieren Sie Ihre App für experimente. Verwenden Sie eine API im Microsoft Store Services SDK, um Remotevariablenwerte aus dem Projekt abzurufen, das Sie im Partner Center erstellt haben, verwenden Sie diese Daten, um das Verhalten des Features zu ändern, das Sie testen, und senden Sie Anzeigeereignis- und Konvertierungsereignisse an Partner Center.
  3. Definieren Sie Ihr Experiment im Partner Center . Erstellen Sie ein Experiment in Ihrem Projekt, das die eindeutigen Ziele und Variationen für Ihren A/B-Test definiert.
  4. Führen Sie Ihr Experiment im Partner Center-Dashboard aus, und verwalten Sie es. Aktivieren Sie Ihr Experiment, und verwenden Sie Partner Center, um die Ergebnisse des Experiments zu überprüfen und das Experiment abzuschließen.

Eine exemplarische Vorgehensweise, die den End-to-End-Prozess veranschaulicht, finden Sie unter Erstellen und Ausführen des ersten Experiments mit A/B-Tests.

Anforderungen

A/B-Tests im Partner Center werden nur für UWP-Apps unterstützt.

Bevor Sie Experimente mit A/B-Tests ausführen können, müssen Sie Ihren Entwicklungscomputer einrichten:

  • Befolgen Sie die anweisungen hier , um Ihren Entwicklungscomputer für die UWP-Entwicklung einzurichten.
  • Installieren Sie das Microsoft Store Services SDK. Zusätzlich zur API für Experimente stellt dieses SDK auch APIs für andere Features bereit, z. B. anzeigen und Ihre Kunden an den Feedback-Hub weiterleiten, um Feedback zu Ihrer App zu sammeln.

Bewährte Methoden

Für die nützlichsten Ergebnisse empfehlen wir, diese Empfehlungen beim Ausführen von Experimenten mit A/B-Tests zu befolgen:

  • Erwägen Sie das Ausführen von Experimenten mit nur zwei Variationen mit einer zufälligen 50/50 geteilten Verteilung für Variationszuweisungen.
  • Führen Sie Experimente für mindestens 2 bis 4 Wochen aus, um ausreichende Daten zu sammeln, die statistisch signifikant und umsetzbar sind.

Begriff Definition
Projekt Eine Sammlung von Remotevariablen mit Standardwerten, auf die Ihre App über das Microsoft Store Services SDK zugreifen kann. Ein Projekt kann optional auch ein oder mehrere Experimente enthalten, die dieselben Remotevariablen gemeinsam verwenden.
Experiment Eine Reihe von Parametern, die einen A/B-Test definieren, den Ihre Benutzer erhalten. Experimente werden im Rahmen eines Projekts definiert, und jedes Experiment besteht aus:

  • Ein Ansichtsereignis , das angibt, wann der Benutzer mit der Anzeige einer Variation beginnt, die Teil Ihres Experiments ist.
  • Mindestens ein Ziel mit Konvertierungsereignissen , die angeben, wann ein Ziel erreicht wurde.
  • Eine oder mehrere Variationen , die die variablen Daten definieren, die vom Experiment verwendet werden. Die Steuerelementvariation verwendet die Im Projekt für das Experiment definierten Standardvariablenwerte. Zusätzlich zur Steuerungsvariation verfügen Experimente in der Regel über mindestens eine zusätzliche Variation mit Variablenwerten, die für das Experiment eindeutig sind.
Projektkennung Eine eindeutige ID, die Ihre App einem Projekt in Ihrem Partner Center-Konto zuordnet. Sie müssen diese ID verwenden, um eine Verbindung mit dem A/B-Testdienst in Ihrem App-Code herzustellen, um Variationsdaten zu empfangen und Ansichts- und Konvertierungsereignisse in Partner Center zu melden. Weitere Informationen finden Sie unter "Codieren ihrer App für Experimente".

Jedes Projekt und alle Experimente im Projekt sind exakt einer Projekt-ID zugeordnet. Sie können Projekt-IDs verwenden, um zwischen verschiedenen Experimentgruppen zu unterscheiden. Sie können beispielsweise eine Reihe von Experimenten haben, die Sie für Tester in Ihrer Organisation freigeben, und eine andere Gruppe von Experimenten, die Sie nur für externe Benutzer Ihrer App freigeben. Eine App kann auf mehrere Projekt-IDs verweisen, wenn sie mehrere Experimente implementiert.
Variante Eine Sammlung von einer oder mehreren Variablen, die Sie in Ihrem Experiment testen. Jedes Experiment muss mindestens eine Variable und zwei Variationen aufweisen (einschließlich des Steuerelements). Ein Experiment kann bis zu fünf Variationen aufweisen.
Variable Ein Wert, den Ihre App zum Initialisieren einer Eigenschaft oder eines anderen Werts in Ihrer App verwendet. Während eines Experiments ändert sich der Wert der Variablen von Variation zu Variation. Nachdem Sie ein Experiment beendet haben, wird die Variable dem Wert aus der Variation zugewiesen, die Sie für alle Benutzer Ihrer App freigeben möchten. Variablen können die folgenden Typen haben: Zeichenfolge, Boolean, Double und integer.
Ereignis anzeigen Eine beliebige Zeichenfolge, die eine Aktivität darstellt, wenn der Benutzer mit dem Anzeigen einer Variation beginnt, die Teil Ihres Experiments ist. In der Regel ist dies der Name eines Ereignisses in Ihrem Code. Ihr App-Code sendet diese Ansichtsereigniszeichenfolge an Partner Center, wenn der Benutzer mit der Anzeige einer Variation beginnt. Weitere Informationen finden Sie unter "Codieren ihrer App für Experimente".
Konvertierungsereignis Eine beliebige Zeichenfolge, die ein Ziel für ein Experiment darstellt. In der Regel ist dies der Name eines Ereignisses in Ihrem Code. Ihr App-Code sendet diese Konvertierungsereigniszeichenfolge an Partner Center, wenn der Benutzer ein Ziel erreicht. Weitere Informationen finden Sie unter "Codieren ihrer App für Experimente".