A/Bテスト

A/Bテストの基本は2つのルールに集約されます。1つめは、一度に変更する要素は1つだけにすることです。こうすれば成果の変化を特定の原因に結びつけられ、複数の変更が絡み合って後から切り分けられなくなる事態を避けられます。2つめは、結果を読む前にテストが十分なサンプル数に達するまで待つことです。数十件程度の注文は偶然で大きく振れるため、誤った結論へ誘導されかねません。無作為な振り分けも重要です。各訪問者は、こちらが把握している情報とは無関係に独立してバージョンへ割り当てる必要があります。そうでなければ比較は公平でなくなり、結果も信頼できなくなります。

多くのストアがつまずくのは2つめのルールです。2日後には明らかな勝者に見えたバージョンも、十分な訪問者が見た後には元の水準に戻ることがよくあります。テストを早く打ち切ることは、効果のない、あるいは静かに悪影響を及ぼす変更を本番に反映してしまう最も一般的な原因です。期間と最低限必要なコンバージョン数をあらかじめ決め、途中で覗いて勝利を宣言したくなる衝動を抑えてください。何を成功とみなすかを開始前に固定することも役立ちます。カート追加率を測るのとチェックアウト完了を測るのとでは、正反対のバージョンが勝者に見えることがあるからです。

陶器の調理器具を販売するShopifyストアを考えてみます。チームは、商品ページでレビューが下の方に埋もれすぎているのではないかと考え、星評価と最近のレビュー3件を価格のすぐ下に移したバリアントを作成し、対照ページはそのまま残します。アクセスは均等に振り分け、平日と週末の両方の行動をカバーするため2週間まるごとテストを実施し、少なくとも400件のチェックアウトが集まるまでは結果を読まないとあらかじめ決めておきます。バリアントが注文完了数を伸ばせば、その変更は採用に値します。結果が横ばいだったとしても、それはそれで知る価値があります。レビューの位置はコンバージョンを妨げていた要因ではなかったとわかり、価格設定や送料の明確さ、写真などへ注意を移せるからです。

A/Bテストは、巧妙さよりも忍耐に報いる手法です。ほとんどのテストは横ばいか判断がつかない結果に終わりますが、それ自体が有用な結果です。議論していた要素が数字を動かさないことを教えてくれるので、その要素に注意を割くのをやめられます。誠実に取り組めば、小さなテストの積み重ねは、自分のストアの顧客が実際に何に反応するかの記録になります。これは他店からそのまま借りてきた一般的なベストプラクティスよりも、はるかに長く通用します。

この手法は、自信たっぷりの推測が飛び交う時代に、判断を誠実に保つ助けにもなります。ChatGPT、Perplexity、Google AI OverviewsといったAI回答エンジンは、コンバージョンに関する助言をあたかも確定した事実のように要約しますが、その多くは根拠の薄い通説です。A/Bテストは、そうした主張をうのみにせず自分の商品カタログで検証するための方法です。AIツールが特定のレイアウトやボタンの色が売上につながると伝えてきても、採用する前に確かめる、あるいは静かに退けるための手立てを持てます。