【効果が出るABテスト】広告・LP・Webサイト改善

こんにちは、ジェイアール東日本企画「キクコト」編集部です。
広告・マーケティングに“効く”コラム、今回のテーマは「ABテスト」です。

広告運用やWebサイト運営を担当し、日々指標改善に取り組まれている方なら、ABテストを知らない人はいないと思います。しかしいざ始めるとなると、成果が出るポイントや方法などをしっかり把握していない方も案外多いのではないでしょうか。

当コラムは、はじめてABテストに取り組もうという方に読んでいただきたい内容です。

このような方におすすめ

・ABテストで、広告に加えた変更の効果を測定したい。
・2つの広告戦略をすばやく比較、最適化したい。
・広告だけでなく、LPやWebサイト流入全体を最適化したい。
・オンライン・オフラインに限定せず、広告キャンペーンの効果を高めたい。

ＡＢテストとは？
ＡＢテストのメリット
ＡＢテストのポイント
ＡＢテストの種類
参考　オンライン＆オフラインでＡＢテストが可能「ＪＲＥ　Ａｄｓ」
「ＪＲＥ　Ａｄｓ」を使ったＡＢテストは、ＪＲ東日本企画のオリジナルサービスです

ＡＢテストとは？

ABテストとは、「特定の同一期間に、広告やLP（ランディングページ）あるいはWebサイトなどを複数パターン用意して、どのアプローチが最もコンバージョンしたのかを実証し、ユーザーのインサイトを特定、成果改善につなげる」デジタルマーケティング手法の一つです。

下図のようにクリエイティブの一要素を比較するパターンが一般的ですが、エリアやオーディエンスなど設定するターゲット別にテストする広告手法もあります。

参考オフラインのABテスト

ABテストは、オフラインでも実施できます。かつて通信販売ではユーザーにカタログを送る際、同封するチラシをABパターン作り、反応の良い方を確かめるテストをしていましたし、新聞の折り込みチラシをエリア別に配布して、注文の獲得単価が安い地域を特定するテストも行われていました。

駅広告や電車広告でも、同一クリエイティブを駅別・路線別に掲出し、効果の高いエリアを見つけ出すという使い方があります。

また、ABテストの手法自体を広告キャンペーンに採用して話題になった事例もあります。

2013年には、日本コカ・コーラの発売する爽健美茶で、「爽健美茶すっきりブレンド（あたらしい味）」と「爽健美茶（いままでの味）」を併売し、消費者からの投票で継続発売する方を決めるという、「爽健美茶国民投票」が行われた。（出典：Wikipedia）

ＡＢテストのメリット

■数値で客観的に判断できる

ABテストのメリットは、勘ではなく明確なデータを基に評価をし、改善できることです。
「このユーザーなら、〇〇が売れるだろう」という、これまでの経験則による誤った（かもしれない）判断（勘）を排除できます。

■手間暇かけずに素早くできる

ABテストは、既存の広告クリエイティブやサイトコンテンツにアレンジを加えることによって改善点を検証する手法なので、新しい広告を増やしたり、Webサイトを改修するよりも工数が少なく、予算や日数を抑えることができます。

ＡＢテストのポイント

１，目的を明確にする

ユーザーへのアプローチにおいて、何の改善を目的にテストするのか？

例えば、

・広告のクリック率（CTR）を上げる
・広告のコンバージョン率（CVR）を上げる
・LPのファーストビューの離脱率を減らす
・LPのCVRを上げる
・Webサイトエンゲージメント時間を伸ばす
・WebサイトのCVRを上げる

などが挙げられます。

「CVRを上げる」目的を立てたら、別の指標のスコアが良いクリエイティブ（例えばエンゲージメント時間の長い方）を採用しないように注意が必要です（例外としてコンバージョンが少ないサイトでは、別の指標としてスクロール率やエンゲージメント率も要素に加える場合があります）。

２，仮説を立てる

テストの目的を決めたら、次にテストの戦略の基になる仮説を立てます。仮説は、キャンペーン全体の目標に即した内容にします（例:「無料相談サービス」のバナー広告では、グラフやデータの図より、人物のアイキャッチ画像の方がユーザーへの信頼感や安心感が得られ、コンバージョン率の向上に効果を発揮するのではないか？など）。

３，変数を一つに絞る

テストする変数を一つに絞り、それ以外の要素はすべて同じ設定にします。見出し、画像、広告文など複数の要素を同時に変えてテストすると、ユーザーがどこに反応し、コンバージョンに直結したのか、明確な効果ポイントが判別できません。

①見出しでABテスト

②画像でABテスト

③CTAボタンでABテスト

などの順で、一つずつ検証を積み重ねましょう。

その際、クリエイティブ以外の要素（オーディエンス、入札単価、広告フォーマットなど）もすべて共通にすることをお忘れなく。LP、Webサイトも同様です。

クリエイティブ以外の要素をテストする場合は、オーディエンスならオーディエンスだけに変数を絞り、クリエイティブなどの他の要素は共通にします。

４，明確な変化を作る

テストするクリエイティブを作る上で最も大切なのは、ファーストインプレッションで2つの違いがはっきりとわかるようにすることです。ちょっとした文言やボタンの色の変化ではなく、

・メインの画像の変更
・レイアウトの組み換え
・特定の要素の追加や削除
・ベネフィットの違いを端的に伝える（お得な料金 VS 豊富な種類など）

）

などの方が有意差は出ます。オリジナル版とテスト版を比較しパッと見て違いがわからないようなテストは、結果に差が出ないことが多いです。

ターゲット（オーディエンス）のテストも同様で、過去にWebサイトで購入したことがある18～20歳の女性と20～22歳の女性を比較しても、当然ながら結果に大きな差は生まれません。有意な結果を得るには、例えば、以前にWebサイトで購入した18～22歳女性ユーザーと、趣味・関心に基づくターゲット設定により、商品に関心を持つ可能性がある18～22歳女性ユーザーを比較します。

５，配信ボリュームを確保する（揃える）

広告のABテストを実施する際、通常のオーディエンスを2つに分けることになるので、2倍の配信ボリュームが必要です。統計的な判断のためにも、配信ボリューム不足は避けたいところです。当然配信ボリュームも同じ量に揃えます。

また、WebサイトのABテストには、最低でも1日に100アクセスが必要とされています。コンバージョン数やアクセス数が少ないサイトは、ABテストをしても有意差が出ない確率が高いので、目標や成果の対象をコンバージョンだけでなく直帰率なども加味して判定を下すようにします。

６，同時に比較・テストする

ABテストとは？の項で最初に触れましたが、ABテストは同じタイミングで実施します。Aをテストした後にBをテストした場合、季節要因など他の変動要因の影響を受け、純粋な比較が難しくなるからです。

７，期間を決める

GoogleやMetaなどの広告では、統計的な判定を下すのに十分なデータを収集するために、2～3 週間のテスト期間を推奨しています。

また、「新しいパターンを出してみたら、今までのパターンよりコンバージョン率が50%悪くなってしまった」などのリスク防止のため、「どういった状態になったらテストを終了して元に戻すのか」を決めておくとよいでしょう。ABテストは気軽に行えるため、勝敗の定義をしっかりと決めずに実行しがちです。元のパターンに戻す判断をどういう条件で実施するのか、といったルールまで決めておくことが望ましいです。

８，予算を確保する

ポイント５に付随しますが、通常の2倍の配信ボリュームを確保するためには、予算も相応に増やす必要があります。ABテストが配信不足になる場合は、予算を増やしてより多くのユーザーにリーチできるようにしなければなりません。

９，テストを重ねて最適化へのインサイトを得る

1回のABテストでも価値ある情報を得られますが、最適化へ向けてテストを重ねることで、ユーザーに対する、より多くの「気づき」や「発見」を手に入れることができます。

ＡＢテストの種類

●広告

・見出し
・画像
・テキスト
・CTA
・オーディエンス

などの変数を変えることによって、複数の広告を比較します。

同じユーザーが両方のバージョンを見ることがないように配信し、それぞれのバージョンをオーディエンスのセグメントごとに表示、どちらのパフォーマンスが高いかを調べる仕組みです。

ここでは代表的な例として、Google広告のテスト機能をピックアップします。

Google広告では、上記のようにさまざまなキャンペーンタイプに合わせたテスト機能があります。

それぞれ、捕足します。

◎広告バリエーション（テキスト広告の最適化）

広告バリエーションは通常、

・テキスト広告
・レスポンシブ検索広告

に使用します。

たとえば、ユーザーに行動を促すフレーズ（テキスト）を「今すぐ購入」から「本日中に購入」に変更するなど、広告のバリエーションを簡単に作成し、広告の掲載結果がどの程度向上するかを手早く確認することができます。

広告バリエーションを設定して、元の広告と変更後の広告のパフォーマンスを比較し、納得のいくテスト結果が得られた場合は、変更した広告をキャンペーンに適用します。

◎カスタムテスト

カスタムテストは、

・検索キャンペーン
・ディスプレイキャンペーン

を対象としたテストです。

カスタムテストで試せることは、

・入札戦略の変更
・キーワードのマッチタイプの変更
・ランディングページの変更
・オーディエンスの変更

などです。

元のキャンペーンとテスト用で作成したキャンペーンのレポートを、一つの表で比較できるので、分析もスムーズにできます。

比較できる指標は、

・クリック数
・コンバージョン数
・表示回数
・クリック率
・ビュースルーコンバージョン
・平均クリック単価

などさまざまです。

◎動画テスト

動画テストは、異なる動画広告クリエイティブを2つ以上制作し、YouTube でのパフォーマンスを比較できる機能です。動画テストでは、純粋に動画広告クリエイティブだけで評価するために、オーディエンス、入札単価、広告フォーマットなどはすべて共通にして配信。結果を踏まえてスコアの良い広告を判定します。

以下から成功指標を一つ選択して、キャンペーンのパフォーマンスを測定、比較します。

・クリック率（CTR）
・コンバージョン率（CVR）
・コンバージョン単価（CPA）
・クリック単価（CPC）
・インプレッション単価（CPM）
・広告視聴単価（CPV）
・動画再生率

動画広告のテストを使うと、動画キャンペーンにおいてコンバージョン単価が最も低い広告を特定できるほか、パフォーマンスに関するその他の指標を得られるなど、効果が高い YouTube の動画広告を判断できるようになります。

テストで得られた各広告のパフォーマンス比較結果は、どのキャンペーンの運用を継続し、どのキャンペーンにより多くの予算を割り当てるべきかについての判断材料になるでしょう。

◎デマンドジェネレーションテスト

デマンドジェネレーションキャンペーンは「需要創出あるいは需要喚起」を意味し、購入意向にまで至らない見込みユーザーに「認知獲得や促進、機会提示」をする広告施策に効果的なキャンペーンで、

・YouTube

・Google Discover

・Gmail

などGoogleとYouTubeで最も視覚的で娯楽性の高い広告面に特化した配信が特徴です。

テストでは、クリエイティブとオーディエンスのみが対象となり、さまざまな動画、画像、広告文、オーディエンスを試すことができます。

指標には、

・クリック率（CTR）

・コンバージョン率（CVR）

・コンバージョン単価（CPA）

・クリック単価（CPC）

などがあります。

テストで統計的に有意な結果が出たら、最も高いパフォーマンスが見られた広告に予算を集中させ、（他は一時停止）最大限の成果を引き出すことにつなげます。

◎P-MAXテスト

P-MAX（パフォーマンス・マックス）キャンペーンは、キーワードベースの検索キャンペーンだけでなく、さまざまなコンバージョンを最大化することが目的のキャンペーンです。

・Google検索

・Googleディスプレイネットワーク（GDN）

・You Tube

・Google Discover

・Gmail

・Googleマップ

・Googleショッピング

など Googleのあらゆる広告面、AI による自動化機能を取り入れて配信。費用対効果の最大化を追求するためのキャンペーンです。

テストは2種類あります。

・P-MAX の上昇率テスト

既存のキャンペーン（検索キャンペーン、動画キャンペーン、ファインドキャンペーン、ディスプレイキャンペーン）と P-MAXを併用した場合のパフォーマンスの上昇率と効果の伸びを比較・確認するテスト。

・P-MAX と通常のショッピングキャンペーンの比較テスト

同じ設定を使用して両方のキャンペーンのパフォーマンスを比較し、どちらが成果向上につながるかを特定するテスト。P-MAX テストは、さまざまな機能、設定、キャンペーンの AB テストを実施でき、ビジネスの成果を高めるのに役立ちます。

以上がGoogle広告のABテストの概要です。もちろんGoogle以外のWeb広告も、ABテスト機能を持っています。詳細については、以下のリンクをご参照ください。

・Facebook広告 Instagram広告のABテスト
　　https://www.facebook.com/business/ads/ab-testing
・LINE広告のABテスト
　　https://www.lycbiz.com/jp/manual/line-ads/ad_028/
・Yahoo!広告のABテスト
　　https://ads-help.yahoo-net.jp/s/article/H000044211?language=ja
・X広告のABテスト
　　https://business.x.com/en/help/campaign-measurement-and-analytics/ab-testing.html

●LP（ランディングページ）

広告をクリックした遷移先であるランディングページは、申し込みや問い合わせなどのコンバージョン率を高めるための重要な施策であり、LPO（ランディングページ最適化）においてもABテストはポピュラーで効果的な手法と言えます。

具体的には、異なるランディングページ（またはランディングページ内のコンテンツ）を2つ以上用意して、アクセスしてきたユーザーにランダムで表示し、それぞれのページビュー数・離脱数・コンバージョン数などのデータを測定します。一定期間後に成果が高かったもの（ページまたはコンテンツ）を採用します。

ページ内の課題をヒートマップツール（LPやWebサイトの読まれている箇所やクリックされている箇所、またはページを上からスクロールした場合、どこまで読まれているかを色分けで視覚的に確認できる分析ツール）で発見し、その課題についてABテストをする流れです。

※ヒートマップツールと同様にABテストツールも、無料・有料の多くのベンダーがありますが（例えばGA4と連携可能なAB Tasty、Optimizely、VWOなど）、詳細は、他コラムに譲ります。

●Webサイト

ABテストは、Webサイトの部分的な改修にも向いています。ともすれば、指標改善のために予算と時間を割いてサイトの大幅改修に走りがちですが、ユーザーのニーズは日々変化しており、スピーディな検証と改善の方が、Web施策においては理にかなっています。

例えば

・ファーストビューのコピー

・アイキャッチ画像

・企業として強調したいポイント

・離脱の多い箇所

などを対象に一つひとつABテストを行い、検証と改善を繰り返します。一つひとつの要素でテストを繰り返すのは、広告もWebサイトも同様です。

参考　オンライン＆オフラインでＡＢテストが可能「ＪＲＥ　Ａｄｓ」

Web広告のオーディエンス設定によるABテストを前述しましたが、配信対象をより正確にセグメントできるWeb広告ソリューションをご紹介します。それがSuicaなどJR東日本が保有する行動データを活用して、見込み客をターゲティングする「JRE Ads」です。

Web広告のエリア設定は、位置情報や検索履歴などを基にユーザーを推定します。一方「JRE Ads」は、Suicaの移動データからエリアとユーザーを特定する高精度ターゲティングが大きな特徴です。つまり「いると思われる人」と「確実にいる（毎日通う）人」の差です。単純なWeb広告の配信でなく、「JRE Ads」を併用したWeb広告配信で、より正確に的を射ることが可能になります。