ミルクティーから生まれた統計手法！A/Bテストのルーツとは？

■DXに関するあらゆる研修はDX百貨店でご紹介しています
https://www.insource-da.co.jp/dx/

Webページや広告を複数作ってランダムに来訪者に提示し、どれが
より効果的に成果を出せるかを検証するA/Bテストをご存じでしょうか？

例えば、WebサイトＡとＢのどちらがより優れているかを検証したいとします。
その時に、図1のようにＷｅｂサイトＡとＢをランダムに提示し、
クリック率を比較することで成果を比較するのがA/Bテストです。

図1 A/Bテストの例

※株式会社インソースデジタルアカデミーがイメージ図を作成

A/Bテストは、統計学における「ランダム化比較試験」にルーツがあります。
この手法ではデータを集めたい対象者に、介入（図1ではWebサイトAとB）し、
その結果を統計学的に比較することによって、優劣をつけています。

さて、このランダム化比較試験は統計学者のロナルド・フィッシャーが、
ミルクティーの実験を行ったことから生まれた（諸説あり）と言われています。

1920年代のイギリスで、ある女性がミルクティーについて、
「ミルクを先に入れたか、紅茶を先に入れたか見分けることができる。」と
紳士たちを相手に得意げに語っていました。
当時の科学の常識では、ミルクか紅茶どちらが先でも成分は変わらないので、
見分けられるはずがないと紳士たちは決めつけました。

そんな中、女性の話を面白いと思い、本当にできるのか試してみようと
ミルクティーを区別する実験を行ったのがロナルド・フィッシャーです。
淹れ方が違うミルクティーをランダムな順番で女性に出し、
正確に区別できるかを確かめることにしました。

もし、5杯のミルクティー全てを当てたとしたら、偶然当たる確率は約3%、
10杯なら約0.1%しかありません。
それができるのであれば、ミルクティーを見分けることができるとするのが
妥当であろうとロナルド・フィッシャーは考えたのです。
これが、ランダム化比較試験の始まりと言われています。

A/Bテストはランダム化比較試験にルーツがありますが、
イギリスのティータイムの学術的な遊び心から生まれたと言ってもいいでしょう。

ちなみに、これを書いている私も試しに2種類の紅茶を飲んでみました。
ミルクと紅茶どちらが先か前もって分かっていても違いが全く分からなかったので、
どうやらティータイムのミルクティーで優雅なひと時を送るにはまだ早いようです。


■本稿に関連するおススメの研修
・はじめてのデータ分析研修～データを読み解く力を習得する
https://www.insource.co.jp/bup/data_analysis_basic.html
・ビジネスデータの分析研修～職場で活かせる統計の基礎とデータ活用法を学ぶ
https://www.insource.co.jp/bup/bup_business_data_analysis.html
・（プログラミング初心者向け）Python基礎研修（3日間）
https://www.insource.co.jp/bup/bup-python-basic-3days.html


※本記事は2022年04月06日現在の情報です。