ABテスト(スプリットテスト)とは?

スプリットテストとは、あるものについて調べるため、一部だけを変えた二つの要素を用意して調べる、というテスト方法のことです。

 

狭義ではABテストは仮説検定を指す言葉ですが、

 

ここでは広義において、

 

つまり施策の良否を判断するために、2つの施策同士を比較検討する行為全般を指すことにします。

 

ABテスト(スプリットテスト)を簡単に言うと、

 

ある対象を改善するために、一つの要素だけを変化させてみる、ということです。

 

 

問題解決していく過程で、どこを変えれば良いかを考える時に、

 

複数の要素を同時に変化させてしまうと、変化が複雑になってしまいます。

 

どの要素の変化が、どれだけの影響を及ぼしているのかが分かりにくくなってしまうのです。

 

しかし、1つの要素だけ変化させれば、その要素の変化が「原因」であるということが確実なので、

 

因果関係が明確になり、どう改善していけば良いかが分かるのです。

 

これが、ABテストのメリットです。

スプリットテストで犯されがちな間違い

ABテストは、問題解決していく上で、非常に便利な方法で、

 

世界中で行われている解析方法ですが、

 

実はほとんどの人が正しく使えていません。

 

 

スプリットテストで犯されがちな間違いは、

 

変化させる部分Xが、他の要素と独立でなければ正確な結果は出ない、ということです。

 

以下、詳しく解説していきます。

 

 

要素X、Yの2つの要素のみからなるWがあるとします。

 

このWにおいて、Xを変化させるスプリットテストを行ってみます。

 

Wが大きいほど良い、という条件下で議論してみましょう。

 

 

すると、XがYと独立の場合

 

つまり、Xがどんな状態でも、Yに影響を及ぼさない場合は、

 

スプリットテストによって

 

A,YとB,Yの優劣をつけることができます。

 

XをA,Bと変化させた場合、

 

WがA,Yの方がB,Yよりも数値が大きい場合、

 

XはAの方が良いことが分かります。

 

 

しかし、XがYと独立でない場合

 

XをA,BとスプリットテストしてAの方が良かったとしても、、

 

WにおいてAの方が良いとは限らないのです。

 

XがAの場合が良かったとしても、

 

XがBで、YがC・D場合の方がWが大きくなる場合も存在するのです。

ABテストのミス 具体例

具体的な例を挙げて理解していきましょう。

 

 

テニスなどのダブルスを思い浮かべてみてください。

 

近々、大会が行われるので、ダブルスのペアWを決めなければならないとします。

 

ポジションXの候補には選手Aと選手Bが、

 

ポジションYの候補には選手Cと選手Dがいるとします。

 

そして、ポジションXのABテストを行ってみて、

 

A・CとB・Cなら、A・Cの方が圧倒的に戦績が良いとします。

 

すると、選手Aの方が選手Bよりも良いと思う人が多いのですが、実際はそうとは限らないのです。

 

 

なぜなら、ポジションYがDの場合は試していないからです。

 

もしかすると、

 

A・Cのペアよりも、B・Dのペアの方が強いかもしれません。

 

 

これは、ポジションXとポジションYが独立ではなく、関係があるからこのようなことになるのです。

 

もし、Yがリストバンドで、リストバンドCとリストバンドDなら、(CとDではデザインが違う)

 

ポジションXの候補には選手Aと選手

 

A・YとB・Yなら、A・Yの方が圧倒的に戦績が良いとします。

 

この場合なら、選手のテニスのパフォーマンスとリストバンドのデザインはほぼ独立であると言えるので、

 

わざわざB・CもしくはB・Dを確かめる必要はないでしょう。

 

XについてだけABテストを行えば良いです。

 

 

しかし、Yがラケットで、ラケットCとラケットDである場合はどうでしょうか?

 

選手とリストバンドなら、関係はほぼ無さそうだと言えますが、

 

選手とラケットの種類なら、関係性はかなりありそうです。

 

A・YとB・Yなら、A・Yの方が圧倒的に成績が良くても、

 

B・C、B・Dの組みあわせを確かめる価値は高そうです。

 

Bとラケットの相性によっては、A・Yを上回る可能性もあるからです。

ABテストを正しく行うためには

さて、上記の具体例を通して、ABテストでミスしやすいことが理解できたと思います。

 

ABテストでミスを犯さないためには、どのようにすればよいのかを解説していきます。

 

 

・変化させる要素の他の要素への影響の大きさを考える

 

先ほどの具体例にもあったように、

 

ABテストを行う際には、他の要素への影響の大きさを考えて行う必要があります。

 

ABテストを行う場合には、常に他の要素との関係性を考えて、変化させていくことが必要です。

 

 

・そもそも要素に見落としがないかを考える

 

さきほどの例では、Wは要素XとYのみから成り立つという非常にシンプルなものでした。

 

しかし、要素Zを見落としていたらどうでしょうか?

 

XとZの関係性によっては、全く違った結果になることも考えられます。

 

 

例えば、先ほどのテニスの例で、見落としていた要素Z「サングラス」があったとします。

 

Bは実は本人は気づいていないのですが、目がまぶしさに弱く、日差しが強い時に

 

ボールを正確に目で捉えることができないのかもしれません。

 

しかし、サングラスをかけることで、それが大幅に軽減され、

 

ペアA・CとペアB・Cなら、ペアA・Cの方が圧倒的に強くても、

 

サングラスありの状態で、A・C・ZとB・C・Zなら、B・C・Zの方が強くなるかもしれません。

 

全てのパターンを試したと思っていても、見落としている要素があると、このようなことが起きるのです。

 

 

・要素の変化のパターンに見落としが無いかを考える

 

先ほどの例で、XはAとBでしたが、実は、Xに別の可能性があったらどうでしょうか?

 

バイアスによって、人間には見落としが生じてしまうことがよくあります。

 

例えば、万年補欠の選手Gがいて、その選手はA,Bに比べてはるかに劣るので初めから考慮にいれていなかったとします。

 

しかし、G・Cや、G・Dの組み合わせの方が強くなる可能性も考えられるのです。

 

G・Cが長年友人で、互いにどちらがどう動くのかが正確に分かる、といった場合です。

 

これは、GとCの「人間関係」という要素を見落としていたことによるものです。

 

 

ABテスト(スプリットテスト)では、

 

・変化させる要素の他の要素への影響の大きさを考える

 

・そもそも要素に見落としがないかを考える

 

・要素の変化のパターンに見落としが無いかを考える

 

の3点に気をつけるようにしましょう。

 

ABテストは対象を改善させて行く上で非常に有効な方法ですが、

 

この3点に着目して、適切に使いこなしてください。

関連ページ

投資が安定して稼げない究極の理由
株・FXなどの投資が安定して稼げない理由を解説。株・FXが安定して稼ぐことが非常に難しい理由を論理的に解説。
仲良しグループも良いけれど・・・
仲良しグループというものがあります。気が合うもの同士で集まったグループのことです。この仲良しグループの問題点について指摘していきたいと思います。
無意識の記憶を制御しよう
無意識の記憶について。無意識の記憶を制御することは非常に大切です。無意識の記憶が重要とされる対象と、そうでない対象を区別して、無意識の記憶を制御することで、問題解決能力が高まります。
フェルミ推定・例題 「シカゴのピアノの調律師の数」
フェルミ推定の問題を解いて、フェルミ推定の練習をしましょう。シカゴのピアノの調律師の数を、フェルミ推定して求めてみましょう。
フェルミ推定・例題 「電柱の数」
フェルミ推定の例題を解いて、ロジカルシンキングを身に着けましょう。今回は、有名なフェルミ推定の問題である電柱を例に、フェルミ推定の練習をしていきます。