パートナー センターで実験を管理する
パートナー センターで実験を定義し、その実験のためにアプリのコードを記述したら、実験をアクティブ化し、パートナー センターを使用して、実験の結果を確認する準備が整います。 必要なすべてのデータを取得したら、実験を終了し、すべてのアプリでコントロールのバリエーションの変数値を使用し続けるか、他のバリエーションの変数値を使用することに切り替えるかを選択できます。
注意
実験をアクティブ化するとすぐに、パートナー センターでは、実験のデータをログに記録するようにインストルメント化されたアプリからデータの収集が開始されます。 ただし、実験のデータがパートナー センターに表示されるまでに数時間かかることがあります。
実験の作成と実行のプロセスについて詳しく示すチュートリアルについては、「A/B テストを使用して最初の実験を作成および実行する」をご覧ください。
実験をアクティブ化する
パートナー センターの実験のパラメーターに問題がなく、アプリのコードを更新したら、アプリの実験データの収集を開始できるように、実験をアクティブ化する準備が整います。 実験がアクティブになると、アプリでバリエーション値を取得し、パートナー センターにビュー イベントとコンバージョン イベントをレポートできます。
- パートナー センターにサインインします。
- [アプリ] の下で、アクティブ化する実験を備えたアプリを選択します。
- ナビゲーション ウィンドウで、[サービス] を選択し、[実験] を選択します。
- [プロジェクト] セクションのプロジェクトの表で、目的の実験が含まれるプロジェクトを展開し、次のいずれかを実行します。
- 実験の [アクティブ化] リンクをクリックします。 実験が、ページの上部にある [アクティブな実験] セクションに追加されます。
- 実験の名前をクリックし、実験のページの下部までスクロールして、[アクティブ化] をクリックします。
重要
実験の作成時に [編集可能な実験] チェック ボックスをオンにしていないと、実験をアクティブ化した後で実験のパラメーターを変更できなくなります。 アプリで実験のコードを記述してから実験をアクティブ化することをお勧めします。
実験の結果を確認する
- パートナー センターで、アプリの [実験] ページに戻ります。
- [アクティブな実験] セクションで、目的のアクティブな実験の名前をクリックし、実験のページに移動します。
- アクティブな実験または完了した実験の場合、このページの最初の 2 つのセクションに実験の結果が表示されます。
- [結果の概要] セクションには、実験の目標と各バリエーションのコンバージョン率の一覧が表示されます。
- [結果の詳細] セクションには、ビュー、コンバージョン、固有ユーザー数、コンバージョン率、デルタ %、信頼性、重要性など、実験のすべての目標に対する各検証結果の詳細が表示されます。 信頼性は、推定値の信頼性の統計的な計測であり、許容誤差を計算したものです。 重要性は、サンプル サイズに基づいた統計的な計測であり、結果が偶然に発生したのではなく、特定の原因によって発生した可能性があることを示すものです。
注意
パートナー センターでレポートされるのは、24 時間以内に発生した、各ユーザーの最初のコンバージョン イベントのみです。 ユーザーが 24 時間以内にアプリで複数のコンバージョン イベントをトリガーした場合は、最初のコンバージョン イベントのみ報告されます。 これは、多数のコンバージョン イベントを使用する単一のユーザーによって、サンプルのユーザー グループの実験の実行結果が歪曲されないようにすることを目的としています。
実験を完了する
- パートナー センターで、実験ページに戻ります。 手順については、前のセクションをご覧ください。
- [Results summary] セクションで、次のいずれかの操作を行います。
- 実験を終了し、アプリでコントロールのバリエーションの変数値を使用し続ける場合は、[保存] をクリックします。
- 実験を終了するが、アプリでは別のバリエーションの変数値を使用する場合は、新たに使用するバリエーションの下にある [切り替え] をクリックします。
- [OK] をクリックして、試験的機能を終了することを確認します。