第6回Adobe Analyticsユーザー会2024セッションレポート②：『UI・UXを最適化するABテスト事例』 (トレンドマイクロ株式会社様)
先日、東京都千代田区丸の内にある株式会社リクルート様の本社オフィスを会場としてお借りし、第6 回Adobe Analytics ユーザー会が開催されました。当日は40名以上のユーザーの方々にご参加いただきました。
また当日のセッションでは、アクセンチュア株式会社の松野様、株式会社トレンドマイクロの鶴賀様のお二人にご登壇いただきました。本記事ではセッションレポートの第二弾として、鶴賀様によるセッション『UI・UXを最適化するABテスト』の模様をお届けいたします。
スピーカー：
トレンドマイクロ株式会社 コンシューマオンラインビジネス推進部
オンラインセールスグループ マネージャー
鶴賀 美由紀 様
トレンドマイクロ社の会社概要
トレンドマイクロ株式会社は、『ウイルスバスター』をはじめとしたサイバーセキュリティ関連製品やサービスを開発・販売する、業界を牽引する世界的企業です。コンシューマ向け製品において国内市場シェアが16年連続No.1を記録するなど、国内No.1のセキュリティベンダーとして多くのユーザーに長年信頼され続けています。
トレンドマイクロ・オンラインショップの概略
トレンドマイクロ社が展開するオンラインショップの概略は、以下の通りです。
・公式サイト・楽天市場・Amazon・Yahooショッピングで販売
・製品ラインナップは約10製品
・コード販売（製品の発送なし）
・パソコン・スマホ・タブレット端末などのデバイスに対するセキュリティ対策製品を販売
この様な前提条件の上でABテストを実施するにあたり、まずはABテストを実施する目的を明確化することが大事です。例えばトレンドマイクロ社の場合、『売上げを増やす』『体験版(無料)のダウンロード数を増やす』『新SKUの販売テスト』等といった目的でテストをすることが多いそうです。
ABテストあるある事例
しっかり目的を明確化しないままABテストを行った場合、やはり様々な失敗に陥りやすくなってしまいます。
あるある失敗例①：思い付きの色変更は効果なし
よくある失敗例の一つとして、なんとなくの思い付きでバナーの色や文字サイズなどを変更してみる、というパターンがあります。例えば以下は、「なんとなくこうした方が…」でデザイン変更を行った例になります。
テストの数をこなすことに注力しすぎてしまうと、比較的すぐに実行できる「バナーの色、文字サイズ・フォントなどの変更」をついついなんとなくやってしまいがちですが、この様な思い付きで行った変更では、見た目は変わったように見えても結果はほとんど出ないことが多いです。
あるある失敗例②：根拠のないデザイン変更は自己満足が多い(結果は出ない)
こちらは実際に鶴賀様ご自身が経験された例です。先ほどの例と似たように、「スマホユーザー多いし、ラジオボタンにすると選んでくれやすくなるのではないか」「見た目は変わった感じがするからやってみたい」という様な、思い付きでデザイン変更(『購入する』の部分をラジオボタンに変更)を行った結果、やはりほとんど有意差は出なかったそうです。
あるある失敗例③：1度のテストで変更箇所が多く、何が良かったかわからない
続いてのあるある失敗例は、一回のテストで複数の箇所・要素を変えてしまった結果、仮に有意差が出たとしても、どの変更点による効果だったかがわからない、というケースです。例えば上の例は、PC版・モバイル版のサイトそれぞれでテストを行った際のデフォルトパターン(左)とテストパターン(右)のデザインの例ですが、やはり変更箇所が多すぎた結果、具体的にどの変更点がユーザーに影響を与えたのかがはっきりしませんでした。
あるある失敗例④：過去のテスト結果(実施したこと)が忘れられる
そしてこういった多くの失敗例を含め、過去のテスト結果をアーカイブ化していくことを怠ってしまうと、その後例えば新しいメンバーがチームに加わった際などに、また同じ失敗を繰り返してしまいがちです。
あるある・・・が起こらないようにするには？
改めて、「ABテストあるある事例」でご紹介したような失敗に陥らないため特に意識すべきことは、以下の4点です。
- 何を改善したいかを明確にする(欲張らない)
- 『売上増加』『CVR向上』『平均単価アップ』など、改善したいことを明確にする
- 改善する理由の根拠を明確にする(最も難しい)
- 「なんとなく見た目がいいから」といった思い付きではなく、なぜその変更をすることで改善効果が得られると思うのか、という根拠を明確にする(Adobe Analyticsの分析データやユーザーボイス、レビュー、NPSなど)
- テスト終了後、レビューを行い記録に残す
- 日々PDCAを回しながら年間で数多くのテストを実施しているような場合、その全てを記憶しておくことは難しいため、各テストの目的や改善理由の根拠、結果を必ず記録しておく
- レビューの共有・振り返りを行う
- テスト量が多いとテスト内容を忘れてしまったり、テスト内容が混在したりしてしまうため、メンバーが変わっても成功・失敗も含め過去のテスト内容を把握できるよう、関係者間で共有する
まとめ
繰り返しになりますが、目的が明確ではないABテストでは結果を出すことは難しく、思い込みや思い付きのデザイン変更は、製作費が発生するだけで効果がないことがほとんどです。また、何の根拠もなく最初からホームラン(大きな改善効果)を狙おうとすると、テストの目的が不明確になってしまいがちです。10打席立って(10回テストを実施して)、その内1本ヒット(CVRが数％アップ、など)が出れば充分と捉え、目的・根拠を明確にしたうえでテストを実施することがとにかく重要です。
≪Adobe Analyticsユーザーグループについて≫
Adobe Analyticsユーザーグループ（AA UG）は、日本国内のAdobe Analytics、Adobe TargetおよびData Insightsに関連する製品のユーザーコミュニティです。 ユーザー同士のベストプラクティスの共有、問題解決、ネットワークの構築を行うことで、製品の知識や活用を高めましょう。各回では業界のリーダーであるユーザーの方々にお越しいただき、様々なトピックを取り上げ、専門知識を共有いただきます。
詳細はこちら