ChatGPTで本格データ分析！～事例①：A/Bテストの効果比較

A/Bテストとは？

ＡとＢという２つのパターンを用意し、特定の項目がユーザーの行動に与える影響を評価する実験的な手法です。主にウェブサイトやマーケティングキャンペーンの改善に用いられます。

たとえば、ある企業が新商品をプロモーションするためにWeb広告のデザインを２パターン（ＡとＢ）用意したとします。そして広告配信の結果、どちらの広告がクリック数などのユーザー行動をより多く促せたのか、数値の差を比較検証します。

A/Bテストの例

このように、どちらの広告がよりユーザーに訴求するのか、データ収集と分析で結論づけるのがA/Bテストです。

A/Bテストの検証方法

統計学を使ったデータ分析では、A/Bテストの数値を単純な大小の比較ではなく、その差が誤差レベルのものでないかを検証します。例として、内容が同じで件名（タイトル）だけが異なる２種類のメールを、宛先を無作為に分けて10,000通ずつ配信し、次のような結果が得られたとします。

	配信数	開封数	開封率	クリック数	クリック率
メールＡ	10,000	3,000	0.3	150	0.05
メールＢ	10,000	2,500	0.25	200	0.08

※開封率は開封数÷配信数、クリック率はクリック数÷開封数で計算しています

メール数値の単純な比較であれば、開封率が良いのはメールＡ、開封に対するクリック率が良いのはメールＢです。ただし、この差は偶然発生したものかもしれないので、統計学でこの差を検証していきます。

ChatGPT 機能「Advanced Data Analysis」を使った検証

ChatGPTの有料版にはファイルを添付する機能があります。以下のとおり、入力欄の左側にあるクリップマークを押すと、添付したいファイルを選択できます。

先ほど例にあげたメールＡ,Ｂの数値データを分析させるため、Excelファイルを添付してChatGPT に読み込ませます。添付データをもとにA/Bテストの比較検証を行う場合は、次のようなプロンプトを入力します。

プロンプト例（入力した指示）

こちらが指定したデータ分析の目的、求める処理のステップをふまえて、以下のとおりChatGPTが順次回答してくれます。

出力（出力された回答）

ｚ検定という統計手法を使って、メール数値（ＡとＢ）の差が偶然生まれたものかどうかを検証するだけでなく、今後のメール施策で留意したほうが良いことまで提案してくれました。

※最初からChatGPTにｚ検定を行うよう指示することもできますが、ここでは「指示されなくても、ChatGPTが自ら分析方法を選択して処理を進められる」点にご注目ください

※プロンプトの入力時にメールＡとＢの違い（内容は同じで件名が異なる）を具体的に指定していなかったため、「メールＢは内容やＣＴＡ（行動喚起）がより効果的であることを示唆～」と、推測に基づいた回答を出力してくれています

このように、分析手法の選択からプログラムの実行、分析結果の考察と提案まで、指示するだけでChatGPTが自動で実行してくれます。さらにChatGPTの出力結果の文末にある[->]というリンクをクリックすれば、以下のように、分析に使用したPythonコードの中身も確認することができます。