第6回Adobe Analyticsユーザー会2024セッションレポート①：『ABテストって何？』 (アクセンチュア株式会社様)

先日、東京都千代田区丸の内にある株式会社リクルート様の本社オフィスを会場としてお借りし、第6 回Adobe Analytics ユーザー会が開催されました。当日は40名以上のユーザーの方々にご参加いただきました。

また当日のセッションでは、アクセンチュア株式会社の松野様、株式会社トレンドマイクロの鶴賀様のお二人にご登壇いただきました。本記事ではセッションレポートの第一弾として、松野様によるセッション『ABテストって何？』の模様をお届けいたします。

スピーカー：
アクセンチュア株式会社 オペレーションズコンサルティング本部
松野 大陸　様

ABテストをすることで何を得られるのか

Adobe Targetについて、「適当に設定すれば良い感じにABテストをしてくれる」夢の様なツールだと思われていることがよくありますが、決してそんなことはありません。ABテストを実施して結果を得るには、意識するべきポイントをしっかり押さえる必要があります。

ABテストで得られることは大きく二つあります。まず一つ目は『施策の結果を数値化できる』ということです。ABテストの場合、例えば「サイトのリニューアル前後の結果を比較」などとは異なり、同時期での施策効果を確認できるので、パターンごとの効果の差が明確になります。

そしてもう一つは、『仮説⇒検証』が容易になるということです。先述の通り、ABテストではパターンごとに比較した結果が数値化されるため、実施プロセス(目標⇒仮説⇒施策⇒検証)を明確化することが可能となり、『仮説⇒検証』を容易に行うことができます。ここで重要なのが、ABテストの結果だけに一喜一憂するのではなく、「何が有効な効果を生み出しているのか」というナレッジを蓄積していくことです。

例えばこちらは実際のABテストの具体例です。この例では、ある購買サイトを対象にABテストを行うにあたり、まず「メインビジュアルの訴求内容が、ユーザーの購入モチベーションに影響しているのでは？」という仮説を立てています。そしてその仮説から、メインビジュアルのキャッチコピーを変更したテストパターンを作成し、デフォルトのパターンとのテストを実施するとします。その結果もし仮説が正しいと証明された場合(＝結果数値に差がある場合)、今後は「結果が最大となるキャッチコピーを作ることに注力するべきだ」ということが明確になりますし、逆の場合は「今後キャッチコピーの検討には時間を割くべきではない」という結論を導き出すことができます。

この様にして得たテストの結果をアーカイブ化して蓄積することで、ナレッジデータベースを作成することができます。そしてそのデータベースを活用することで、新規メンバーへの共有やプロジェクト外メンバーへの共有がより容易となります。また、蓄積したナレッジを社内の広範囲に共有することにより、「 過去に一度実施して結果が良くなかったテストを、もう一度全く同じ方法で別の部署で実施してしまう」という様な、部署間でのナレッジ共有がされていないことで起こりがちな二度手間を省くことができます。

テストで結果を出す・知見をためるために大事なこととは？

では、ABテストで結果を得たり、知見を貯めるために大切なこととは何なのでしょうか。やはり一番大事なのは「どんな仮説を立てて、どんなテストを行うか」ということです。これはすなわち、「課題はなにか」「テストを行うことで数字が変動しやすいのはなにか」「テスト結果が出た後にどんなアクションをするのか」をはっきりさせることです。そしてテストを行う際は、例えばメインエリアの訴求内容のABテストなど、その結果の影響が大きいと考えられるエリアから実施するのがおすすめです。よくやってしまいがちなのが、「(何かしらのコンバージョンに直結している) CTAボタンのABテスト」の様に、小さいところからテストを実施し始める、というパターンです。一見、影響が大きそうな要素に思えますが、実際には数値にあまり差が出ないことが多いです。この様な小さな要素からではなく、パターンごとに結果の差が明確に出る、影響が大きいと考えられる箇所からテストを始めることを意識すると良いでしょう。

効果的なABテスト活用ケース

ABテストを行うにあたり、効果的な活用ケースは二つあると考えられます。まず一つ目は、『改善時の効果検証』です。コンバージョンに至るまでの経路の途中にチェックポイントをいくつか設けて、そこに対してテストを実施することにより、テストの結果なにかしら改善が見られた際に、改善効果がより明確化されます。

そしてもう一つが、『特定のページを最強ページにする(テストマーケティング)』です。例えば何かのキャンペーンページだったり、新商品関連のページなどがあり、そのページだけを特に強化していきたいという意図がある場合は、この活用ケースが適していると考えられます。そのページに関して、「どんな印象がいいのか？」「どんなコンテンツがいいのか」などといったことをベースにテストプランを設計することで、その特定のページがコンバージョンしやすい手法を見つけ出すことができます。

これらの二つのケースいずれにおいても共通して大切なことは、とにかく『目的を明確にする』ということです。「何のため」に「何をする」のか、「課題」と「解決策」の仮説と関係が明確になっているか、ということをしっかりと意識しましょう。課題の発見からその要因に関する考察、そして解決策の考案までは問題なく実行できるケースが多いかと思いますが、それを具体的な施策に落とし込むところまで実行しなければなりません。落とし込みが出来ていない状態で闇雲にページをいじってしまうと、最初に考案していた仮説や解決策からブレてしまう可能性もありますし、「ついでに追加でここもテストしてみよう」という安易な考えを生んでしまい、その結果テストの効果検証がしにくくなってしまうこともあります。この様なことを防ぐためにも、解決策は必ず具体的な施策にまで落とし込むことをおすすめします。

また、テストの結果が出た後のネクストアクションについても予め計画しておくと良いでしょう。「もしAパターンが勝ったら、次はこういうアクションをしよう」ということを決めておけば、テストを重ねるごとに対象ページをどんどんより良いものにしていくことができますし、逆に「もしBパターンが負けたら次はこうしよう」と決めておけば、そのテストパターンが負け続けた場合に別のアプローチ方法を用意しておくことができます。

ABテストのプランニング～実施ページ選定の際の留意事項～

ABテストを実施した際、「勝敗がはっきりつかない」「明確な有意差が出ない」ということがよくあります。その様なケースでは、そもそもテストの対象ページが適切でない可能性があります。対象ページを選定する際は、そのページがテスト実施に適しているかを事前にしっかり確認するようにしましょう。

テスト実施に適しているかの確認方法①：十分なコンバージョン数があるか

テストで有効な結果を出すには、テスト期間を2週間とした場合、期間中におよそ200以上必要であることが多いです(※あくまで参考値)。この値を大きく下回っているページだと、信頼度の高いテスト結果を得ることが難しく、テスト実施にはあまり適していないページだと言えます。

テスト実施に適しているかの確認方法②：タグが挿入可能か

こちらは大前提ではありますが、テスト実施ページやゴールページには、テストツールのタグが挿入可能である必要があります。

ABテストのプランニング～仮説立案～

テストを実施する際、テストパターンのバリュエーション考える前に、まず必ず仮説を明確にすることが大切です。現状の課題が何で、その要因は何か、そしてそれを解決するためにはどうしたらいいか、といった仮説を明確にしたうえで、それを基点としてテストバリュエーションを考えると良いでしょう。

ABテストのプランニング～テストパターンの考え方～

仮説立案後、テストパターンを作成する際には、「何のためにこのパターンが必要なのか」を考え、「このパターンが勝ったら何が言えるか」「このパターンが勝ったら次に何をするか」を明確にすることを意識しましょう。例えば下の表は、A/B/Cという3つのテストパターンを作成する際、各パターンの概要や設計の背景、そしてそれぞれのパターンが勝った場合「何が言えるか」「次に何をするか」をまとめたものになります。

またテストパターンの作成にあたり、『パターンの軸を揃える』ことも重要です。仮に各パターンごとに変更箇所を揃えずにそれぞれ全く別の場所を変えてしまったり、訴求ポイントのテストとビジュアル表現のテストを同時に行ってしまったりすると、テストの結果を平等に判定することができず、結果から言えることが不明瞭になってしまいます。そういったことを防ぐためにも、パターン作成の際には、それぞれの軸を揃えることも併せて意識しましょう。

ABテストの効果検証～ネクストアクションの考え方～

プランニングをしっかり行ってテストを実施したとしても、「勝敗がつかない」というケースはもちろんあります。実際には、むしろきれいに大差で勝敗がつくケースは稀で、勝敗がついたとしても数パーセントの差異になることが大半です。繰り返しになりますが、テスト結果から考察を得た後にどんなネクストアクションを検討⇒決定するかがそこで重要になってきます。

テストの勝敗が確定した場合

仮にテストの勝敗が確定した場合は、テストした箇所と同じ箇所で、よりよい結果を探すテストを実施すると良いでしょう。それを繰り返していくことで、もし『勝ちパターン』を発見することができた場合は、その『勝ちパターン』を他の箇所へも適用させることができます。

テストの勝敗が確定していない場合

一度のテストで勝敗が確定しない場合でも、内容を見直しつつ同じ箇所で複数回テストを実施することをおすすめします。それでも勝敗が確定しない場合は、その複数回のテストで得た何かしらの『気付き』や『ひらめき』をナレッジとして蓄え、それをヒントとして別の箇所でテストを行うと良いでしょう。

≪Adobe Analyticsユーザーグループについて≫

Adobe Analyticsユーザーグループ（AA UG）は、日本国内のAdobe Analytics、Adobe TargetおよびData Insightsに関連する製品のユーザーコミュニティです。 ユーザー同士のベストプラクティスの共有、問題解決、ネットワークの構築を行うことで、製品の知識や活用を高めましょう。各回では業界のリーダーであるユーザーの方々にお越しいただき、様々なトピックを取り上げ、専門知識を共有いただきます。

詳細はこちら