Tính cỡ mẫu và độ mạnh kiểm định cho A/B test

Tính cỡ mẫu và độ mạnh kiểm định cho A/B test

Mới nổi AI Skill PRO

Nhập phép tính

Công thức

n=(z1−α/s2p‾(1−p‾)+z1−βp1(1−p1)+p2(1−p2))2(p2−p1)2n=\frac{\left(z_{1-{\alpha}/s}\sqrt{2\bar p(1-\bar p)}+z_{{1-\beta}}\sqrt{{p_1}(1-p_1)+p_2(1-p_2)}\right)^2}{\left({p_2-p_1}\right)^2}
Thống kê sử dụng

Quảng cáo

Kết quả

Đây là số liệu ví dụ: hãy thay bằng số liệu của bạn.

Số lượt truy cập cần cho mỗi phiên bản
31.234
Tổng lượt truy cập, mọi phiên bản
62.468
Thời gian chạy (ngày)
32
Tỷ lệ của biến thể cần phát hiện
5,5%
Độ lớn hiệu ứng
0,5 pp · 10%
Giá trị chính xác theo công thức, mỗi phiên bản 31.233,44
Có hiệu chỉnh liên tục (Fleiss–Tytun–Ury) 31.633
Số phép so sánh với bản gốc 1
α dùng cho mỗi phép so sánh 0,05
Giá trị tới hạn z cho α 1,9600
z cho độ mạnh kiểm định 0,8416

Đừng dừng thử nghiệm ngay lần đầu thấy kết quả có ý nghĩa.

Các con số này giả định thử nghiệm có kỳ hạn cố định: chọn cỡ mẫu trước và chỉ phân tích một lần khi kết thúc.

Nếu kiểm tra một kiểm định hai phía 5% sau mỗi đợt trong 5 đợt bằng nhau và dừng ngay khi p < 0,05, tỷ lệ dương tính giả thực tế lên khoảng 14%; xem 10 lần thì khoảng 19%, xem 20 lần khoảng 25%.

Nếu cần theo dõi liên tục, hãy dùng thiết kế tuần tự như biên O'Brien–Fleming với hàm chi tiêu alpha, hoặc mSPRT luôn hợp lệ.

Báo lỗi nội dung trang này

Công cụ này làm được gì

Công cụ trả lời ba câu hỏi của mọi thử nghiệm tỷ lệ chuyển đổi. Lập kế hoạch cho biết mỗi phiên bản cần bao nhiêu lượt truy cập để phát hiện mức tăng bạn chọn và mất bao nhiêu ngày với lưu lượng hiện có. Cỡ mẫu cố định làm theo chiều ngược lại: với số lượt truy cập bạn đã có, công cụ cho biết độ mạnh để phát hiện hiệu ứng của bạn và hiệu ứng nhỏ nhất có thể phát hiện ở độ mạnh mục tiêu. Phân tích kết quả nhận số chuyển đổi và lượt truy cập của A và B, trả về mức tăng quan sát được, p-value của kiểm định z hai tỷ lệ kèm khoảng tin cậy, và xác suất Bayes để B tốt hơn A — tất cả tính chính xác, không dùng mô phỏng ngẫu nhiên.

Trang mở sẵn số liệu ví dụ: tỷ lệ hiện tại 5%, MDE tương đối 10%, α = 5% hai phía và độ mạnh 80%. Hãy thay bằng số liệu của bạn.

Công thức cỡ mẫu

Với hai nhóm bằng nhau có tỷ lệ chuyển đổi \( p_1 \) (bản gốc) và \( p_2 \) (biến thể), số lượt truy cập cần cho mỗi nhóm là

$$ n = \frac{\left( z_{1-\alpha/s}\sqrt{2\bar p(1-\bar p)} + z_{1-\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)} \right)^2}{(p_2-p_1)^2}, \qquad \bar p = \frac{p_1+p_2}{2} $$

trong đó \( s = 2 \) với kiểm định hai phía và \( s = 1 \) với kiểm định một phía, còn \( z \) là phân vị của phân phối chuẩn tắc. Đây là công thức 4.14 trong sách của Fleiss, Levin và Paik, Statistical Methods for Rates and Proportions (tái bản lần 3, 2003): độ lệch chuẩn dưới giả thuyết không dùng tỷ lệ gộp \( \bar p \), dưới giả thuyết đối dùng riêng từng tỷ lệ. Đây cũng là xấp xỉ chuẩn của kiểm định z gộp mà bạn chạy khi kết thúc, nên kế hoạch và phân tích khớp nhau. Kết quả được làm tròn lên thành số nguyên.

Bảng kết quả còn có cỡ mẫu với hiệu chỉnh liên tục của Fleiss, Tytun và Ury (1980), \( n_{cc} = \frac{n}{4}\left(1+\sqrt{1+\frac{4}{n\,|p_2-p_1|} }\right)^2 \). Các bảng tra trong sách thường in con số lớn hơn, thận trọng hơn này.

Hai đường cong phân phối chuẩn chồng lên nhau, thể hiện mức ý nghĩa alpha, sai lầm loại II beta, độ mạnh 1−β và khoảng cách giữa p1 và p2
Cỡ mẫu được chọn sao cho giá trị tới hạn giữ tỷ lệ dương tính giả ở mức α mà vẫn phát hiện được hiệu ứng thực p2 − p1 với xác suất 1 − β.

Ví dụ có thể tự kiểm tra

Fleiss, Levin và Paik, trang 74: \( p_1 = 0{,}60 \), \( p_2 = 0{,}70 \), α = 1% hai phía, độ mạnh 95%. Công thức cho 807,07, tức 808 mỗi nhóm, và 827 khi có hiệu chỉnh liên tục — đúng số in trong sách. Với độ mạnh 75%, kết quả là 479,6 (480), và 499,4 khi hiệu chỉnh: sách in 499, công cụ làm tròn lên 500. Để tái hiện, chọn kiểu hiệu ứng tuyệt đối, tỷ lệ hiện tại 60 và hiệu ứng 10.

Ryan (2013), được kiểm chứng trong tài liệu NCSS PASS: α = 5% một phía, độ mạnh 80%, 55% so với 65% → 295,7, tức 296 mỗi nhóm.

Ví dụ mặc định: tỷ lệ hiện tại 5% và mức tăng tương đối 10% nghĩa là cần phân biệt 5,5% với 5%. Với α = 5% hai phía và độ mạnh 80%, cần 31.234 lượt truy cập mỗi phiên bản, tổng 62.468, tức 32 ngày nếu mỗi ngày có 2.000 lượt.

MDE tương đối hay tuyệt đối

Hiệu ứng tương đối 10% trên nền 5% nghĩa là 5,5% (\( p_2 = p_1(1+\text{MDE}) \)). Hiệu ứng tuyệt đối 1 điểm phần trăm nghĩa là 6% (\( p_2 = p_1 + \text{MDE} \)). Giảm hiệu ứng đi một nửa thì cỡ mẫu tăng khoảng bốn lần, vì \( n \) tỷ lệ với \( 1/(p_2-p_1)^2 \). Tỷ lệ nền thấp rất tốn mẫu: cùng mức tăng tương đối trên nền 1% cần khoảng gấp năm lần số lượt so với nền 5%.

Quảng cáo
Đường cong cho thấy cỡ mẫu cần thiết giảm mạnh khi hiệu ứng tối thiểu phát hiện được tăng lên
Giảm một nửa hiệu ứng tối thiểu phát hiện được sẽ làm số lượt truy cập cần cho mỗi biến thể tăng khoảng gấp bốn, vì n tỷ lệ với 1/(p2 − p1)².

Nhiều phiên bản và hiệu chỉnh Bonferroni

Với \( k \) phiên bản kể cả bản gốc, mỗi biến thể trong \( k-1 \) biến thể được so với bản gốc và mọi nhóm có cùng \( n \), nên tổng là \( k \cdot n \). Mỗi phép so sánh thêm là thêm một cơ hội chọn nhầm “người thắng”. Hiệu chỉnh Bonferroni (Dunn, 1961) kiểm định mỗi phép so sánh ở mức \( \alpha/(k-1) \), giữ xác suất có ít nhất một dương tính giả không vượt quá \( \alpha \). Cách này thận trọng và làm tăng \( n \) cho mọi nhóm.

Độ mạnh và MDE khi cỡ mẫu cố định

Giải cùng phương trình theo độ mạnh:

$$ 1-\beta = \Phi\!\left( \frac{|p_2-p_1|\sqrt{n} - z_{1-\alpha/s}\sqrt{2\bar p(1-\bar p)} }{\sqrt{p_1(1-p_1)+p_2(1-p_2)} } \right) $$

Công cụ tính giá trị này cho hiệu ứng của bạn rồi tìm mức tăng nhỏ nhất đạt độ mạnh mục tiêu. Dùng chế độ này khi lưu lượng đã cố định, chẳng hạn một chiến dịch chạy đúng hai tuần: nếu mức tăng phát hiện được lớn hơn nhiều so với mọi thay đổi thực tế, thử nghiệm sẽ khó cho bạn kết luận hữu ích.

Đọc kết quả: p-value và khoảng tin cậy

Với \( x_A \) chuyển đổi trên \( n_A \) lượt và \( x_B \) trên \( n_B \), thống kê z gộp là \( z = (\hat p_B-\hat p_A)/\sqrt{\hat p(1-\hat p)(1/n_A+1/n_B)} \) với \( \hat p = (x_A+x_B)/(n_A+n_B) \). P-value hai phía là \( 2(1-\Phi(|z|)) \); p-value một phía, cho giả thuyết B tốt hơn, là \( 1-\Phi(z) \). Khoảng tin cậy của chênh lệch dùng sai số chuẩn không gộp: \( (\hat p_B-\hat p_A) \pm z_{1-\alpha/2}\sqrt{\hat p_A(1-\hat p_A)/n_A+\hat p_B(1-\hat p_B)/n_B} \). Ví dụ: 500/10.000 so với 560/10.000 cho z = 1,894 và p = 0,0583, nên mức tăng quan sát 12% chưa có ý nghĩa ở mức 5%, và khoảng tin cậy 95% của B − A trải từ −0,02 đến +1,22 điểm phần trăm.

Xác suất Bayes để B tốt hơn A

Với tiên nghiệm đều Beta(1, 1), phân phối hậu nghiệm của tỷ lệ chuyển đổi sau \( x \) chuyển đổi trên \( n \) lượt là Beta(\( 1+x \), \( 1+n-x \)) (Gelman và cộng sự, Bayesian Data Analysis, tái bản lần 3, chương 2). Vì các tham số là số nguyên, xác suất tỷ lệ của B cao hơn có dạng tổng hữu hạn chính xác:

$$ P(p_B>p_A) = \sum_{i=0}^{\alpha_B-1} \frac{B(\alpha_A+i,\ \beta_A+\beta_B)}{(\beta_B+i)\,B(1+i,\ \beta_B)\,B(\alpha_A,\ \beta_A)} $$

với \( \alpha = 1+x \), \( \beta = 1+n-x \) và \( B \) là hàm beta, theo cách dẫn của Evan Miller. Công cụ tính tổng này trong thang logarit nên không phụ thuộc vào rút mẫu ngẫu nhiên và luôn cho cùng một đáp số. Tổn thất kỳ vọng khi chọn B, \( E[\max(p_A-p_B, 0)] \), đến từ cùng tổng với tham số dịch đi: đó là phần tỷ lệ chuyển đổi bạn dự kiến mất nếu thực ra B kém hơn. Với ví dụ trên, P(B > A) = 97,08% và tổn thất kỳ vọng khi chọn B là 0,0036 điểm phần trăm. “97% khả năng tốt hơn” và “chưa có ý nghĩa ở mức 5%” trả lời hai câu hỏi khác nhau; không câu nào cho phép dừng thử nghiệm sớm.

Vì sao “nhìn trộm” làm hỏng thử nghiệm kỳ hạn cố định

Cỡ mẫu ở trên giả định bạn chỉ xem dữ liệu một lần, khi kết thúc. Nếu xem sau mỗi đợt và dừng ngay khi p < 0,05, mỗi lần xem là thêm một cơ hội dương tính giả. Armitage, McPherson và Rowe (1969) là những người đầu tiên đo hiệu ứng này. Dưới đây là kết quả chúng tôi tính bằng tích phân số chính xác trên phân phối chuẩn đồng thời của các thống kê kiểm định, cho kiểm định hai phía 5% với các lần xem cách đều và không có khác biệt thật:

Số lần xem dữ liệu Xác suất chọn nhầm người thắng
1 5,0%
2 8,3%
3 10,7%
5 14,2%
10 19,3%
20 24,8%

Nếu cần theo dõi khi thử nghiệm đang chạy, hãy dùng thiết kế dành cho việc đó. Biên tuần tự theo nhóm như O'Brien và Fleming (1979) chỉ “tiêu” rất ít α ở các lần xem sớm và giữ tỷ lệ dương tính giả tổng thể ở mức α. Cách chi tiêu alpha của Lan và DeMets (1983) cho phép xem ở những thời điểm không định trước. Suy luận luôn hợp lệ bằng kiểm định tỷ số xác suất tuần tự hỗn hợp (mSPRT; Johari, Koomen, Pekelis và Walsh) cho p-value có thể xem bất cứ lúc nào. Đổi lại, tất cả đều cần cỡ mẫu tối đa lớn hơn thử nghiệm kỳ hạn cố định.

Quảng cáo
Đường giá trị p theo thời gian, nhiều lần rơi xuống dưới ngưỡng ý nghĩa trước khi thử nghiệm kết thúc theo kế hoạch
Kiểm tra kết quả liên tục trước khi đạt cỡ mẫu dự kiến cho giá trị p vốn dao động nhiều cơ hội vượt qua α, khiến dương tính giả tăng lên.

Giả định và giới hạn

Các công thức giả định người truy cập độc lập, tỷ lệ chuyển đổi ổn định trong thời gian thử nghiệm và phân chia ngẫu nhiên công bằng. Hãy chạy trọn tuần để bao quát thói quen theo ngày trong tuần, kiểm tra tỷ lệ chia lưu lượng đúng như kế hoạch và chỉ đếm mỗi người một lần. Với mẫu rất nhỏ hoặc tỷ lệ gần 0% hay 100%, xấp xỉ chuẩn khá thô; khi đó nên dùng kiểm định chính xác.

Công cụ liên quan

Đã có kết quả thử nghiệm? Công cụ kiểm định ý nghĩa A/B test cho biết chênh lệch giữa hai tỷ lệ chuyển đổi có ý nghĩa thống kê hay không, kèm z-score và p-value.

Bạn đang làm khảo sát? Công cụ tính cỡ mẫu cho biết cần thu bao nhiêu phản hồi để đạt độ tin cậy và sai số mong muốn.

Nguồn tham khảo

Cập nhật lần cuối:

Phổ biến nhất trong Toán học và Thống kê

Xem tất cả máy tính Toán học và Thống kê