A/B測試規劃指令｜讓每次實驗都有明確的假設和判斷依據

## 1. 測試假設 If 我們將「立即付款」按鈕改為藍色（主色調）， Then 付款完成率將提升 10% 以上， Because 主色調按鈕在視覺層級上更突出，減少用戶在最後步驟的認知猶豫。 ## 2. 實驗設計 ・Control（A）：現有灰色「立即付款」按鈕 ・Treatment（B）：藍色「立即付款」按鈕（#007AFF，其餘 UI 完全一致） ## 3. 主要指標 付款完成率 = 當日完成付款人數 / 當日到達結帳頁人數 基準值：目前約 45%；最小可偵測差異（MDE）：10%（即治療組目標 49.5%） ## 4. 護欄指標 ・平均訂單金額（AOV）：不應顯著下降（可能因衝動購買增加而需監控） ・客服退款率：不應上升 ・結帳頁跳出率：應維持或改善 ## 5. 樣本量估算 統計功效 80%，置信水準 95%（雙尾檢定），基準轉換率 45%，MDE 10% → 每組所需樣本約 3,900 人 → 總樣本：7,800 人 → 按每日 2,000 人、各 50% 分流，需要約 8 天 ## 6. 實驗時長 建議跑 14 天（包含兩個完整週期，避免週一/週末行為差異影響），確認 novelty effect 消退後結果穩定。 ## 7. 分組邏輯 依用戶 ID 尾數奇偶數分組（奇數→Control，偶數→Treatment），確保同一用戶每次看到一致體驗，避免 carry-over effect。 ## 8. 成功判定標準 ・推全站：治療組付款完成率比控制組高 ≥ 5%，且 p < 0.05，護欄指標無顯著惡化。 ・終止：治療組付款完成率低於控制組 ≥ 3%（有害），或護欄指標顯著惡化。 ・繼續觀察：差異不顯著但方向正確，延長實驗兩週後再判斷。 ## 9. 回滾計畫 若中途發現治療組的客服退款率顯著上升，立即停止實驗並將所有用戶回到控制組，不等實驗結束。