p値の正確な意味は「AとBに本当は差がないと仮定したとき、今回観測されたのと同じかそれ以上に極端な差が偶然に出てしまう確率」です。 p = 0.03 は「Bが勝つ確率が97%」という意味ではありませんし、「差がない確率が3%」でもありません。 「Bが勝つ確率」を知りたい場合は、このページのベイズ勝率のほうを見てください。そちらは事前分布を置いたうえでの、文字どおりの確率です。

有意差が出ないのは「差がない」場合と「差はあるがサンプルが足りず見えていない」場合の両方で起こります。 このツールでは後者を「データ不足」として区別し、いま何%以上の差なら検出できるのか（最小検出可能効果）も表示しています。

テスト期間中に毎日p値を確認して「p < 0.05 になった瞬間にテストを終了する」というやり方は、 本当は差がなくても有意差が出てしまう確率を大幅に押し上げます（覗き見問題／逐次検定の問題）。 実際、この方法だと第一種の過誤率は5%どころか20〜40%に達することがあります。先に必要サンプルサイズを決めて、そこに到達するまで結論を出さないのが基本です。

3パターン、5パターンと同時に比較したり、「全体では差がないがスマホユーザーだけ見ると差がある」といったセグメント分割を後から何度も試すと、 どこかで偶然に p < 0.05 が出ます（多重比較の問題）。比較の数だけ有意水準を厳しくする（ボンフェローニ補正なら 0.05 ÷ 比較数）か、 見る指標とセグメントをテスト開始前に決めておいてください。

平日と休日でCVRが違うサービスは多いので、テスト期間は最低でも1週間（できれば2週間）の倍数で区切るのが無難です。 また、キャンペーンやメディア掲載など外部要因が挟まると、統計以前にデータの前提が崩れます。