Thử nghiệm và khi nào mới công bố bên thắng

Thiết lập một thử nghiệm

Thử nghiệm nằm ở mục Thử nghiệm trong từng dự án. Mỗi thử nghiệm so sánh trang hiện tại (bản gốc) với một hoặc nhiều biến thể theo chỉ số chính được chọn trước khi bắt đầu.

1. Viết giả thuyết: thay đổi điều gì, cho ai, và chỉ số nào sẽ thay đổi. Bạn có thể bắt đầu từ một phát hiện CRO được gắn nhãn Giả thuyết.

2. Tạo biến thể. AI có thể phác thảo từ một phần trang bạn chọn, hoặc bạn tự chỉnh tay. Dù cách nào, đó cũng là một bản thay đổi bạn xem lại và duyệt trước khi được chạy.

3. Chọn chỉ số chính, như khách tiềm năng đạt chuẩn, lịch hẹn đã xác nhận hoặc đơn hàng đã thanh toán. Kết quả được đánh giá theo chỉ số này.

4. Thêm chỉ số bảo vệ (guardrail) không được phép xấu đi, như tỷ lệ khách tiềm năng đạt chuẩn, lỗi biểu mẫu hay tốc độ tải trang.

5. Đặt đối tượng và điều kiện tham gia, ví dụ khách dùng di động đến từ chiến dịch Meta.

6. Đặt tỷ lệ chia traffic, như 50/50. Chia lệch sẽ cần nhiều traffic hơn mới có kết quả.

7. Tự tay bắt đầu thử nghiệm.

Số thử nghiệm chạy cùng lúc tuỳ theo gói của bạn. Xem bảng giá.

Trạng thái thử nghiệm

Một thử nghiệm đi từ bản nháp sang sẵn sàng, đang chạy, tạm dừng nếu bạn tạm dừng, rồi kết thúc, và cuối cùng được áp dụng hoặc lưu trữ.

Khách được phân nhóm thế nào

• Việc phân nhóm diễn ra ở phiên đủ điều kiện đầu tiên của khách, bằng một hàm băm có khoá cho kết quả cố định, nên cùng một khách luôn nhận cùng một biến thể.

• Biến thể được giữ nguyên khi tải lại trang và qua mọi bước của phễu nhiều bước, trong phạm vi sự đồng ý của khách cho phép. Nếu không có mã định danh lâu dài, biến thể được giữ trong phiên.

• Lượt tiếp xúc (exposure) chỉ được ghi khi biến thể thực sự hiển thị, không phải chỉ vì khách đã được phân nhóm.

• Bản xem trước để kiểm tra (QA) của bạn được loại trừ, nên việc xem thử biến thể không ảnh hưởng kết quả.

Kiểm tra sức khoẻ thử nghiệm

Kết quả chỉ có ý nghĩa khi thiết lập đúng. Mỗi thử nghiệm hiển thị:

• Kiểm tra lệch tỷ lệ mẫu (SRM): nếu tỷ lệ chia thực tế lệch khỏi tỷ lệ bạn đặt nhiều hơn mức ngẫu nhiên có thể giải thích, việc phân nhóm hoặc đo lường nhiều khả năng đang hỏng, và chưa nên tin kết quả cho đến khi sửa xong.

• Gợi ý cỡ mẫu: mỗi biến thể cần khoảng bao nhiêu khách để phát hiện mức thay đổi nhỏ nhất mà bạn quan tâm, và traffic của bạn có đạt được không.

• Nhóm chịu ảnh hưởng: chính xác ai nằm trong thử nghiệm, ví dụ khách dùng di động đến từ Meta. Kết quả chỉ áp dụng cho nhóm đó.

Bot, traffic nội bộ đã loại trừ và bản xem trước QA không được tính.

Kết quả được phân tích thế nào

• Không xem trộm. Ngày nào cũng xem và dừng khi thấy kết quả đẹp sẽ tạo ra bên thắng giả. Mỗi thử nghiệm dùng mốc cố định, chỉ phân tích khi đạt cỡ mẫu đã định, hoặc một phương pháp tuần tự được khai báo trước khi bắt đầu và vẫn đúng khi kiểm tra nhiều lần.

• Có khoảng, không chỉ một con số. Kết quả hiển thị mức chênh lệch ước tính kèm khoảng tin cậy.

• So sánh nhiều lần. Khi có nhiều biến thể hoặc nhiều chỉ số, phân tích được điều chỉnh cho khả năng trúng ngẫu nhiên tăng thêm, nếu không thì thử nghiệm được đánh dấu là thăm dò.

• Chờ kết quả về đủ. Khách tiềm năng đạt chuẩn và đơn hàng đã thanh toán đến sau lượt truy cập vài ngày, nên phân tích chờ đủ khoảng thời gian đó thay vì tính khách mới vào là chưa chuyển đổi.

Điều gì không phải là thắng

• Nhiều lượt gửi biểu mẫu hơn trong khi khách tiềm năng đạt chuẩn giảm. Lượt gửi thô chỉ dùng để chẩn đoán, không phải mục tiêu.

• Thử nghiệm bị dừng sớm vì kết quả trông có vẻ tốt.

• Quá ít dữ liệu để phân biệt các biến thể với may rủi.

• Tăng ở một chỉ số không phải chỉ số chính. Nó có thể gợi ý cho thử nghiệm tiếp theo, nhưng không phải kết quả của thử nghiệm này.

• Chỉ số chính tăng nhưng một chỉ số bảo vệ xấu đi. Hãy cân nhắc được mất trước khi áp dụng.

Nhãn kết quả

Ngay cả khi biến thể dẫn trước, đó vẫn là một ước tính có khoảng dao động, không phải lời bảo đảm. Kết quả có thể thay đổi theo mùa vụ, ưu đãi và traffic mà quảng cáo mang đến.

Áp dụng hoặc quay lại bản cũ

Bạn tự bắt đầu, dừng và áp dụng thử nghiệm. AI đề xuất thử nghiệm và chuẩn bị biến thể, nhưng mặc định không bao giờ tự bắt đầu, dừng hay áp dụng. Áp dụng sẽ phát hành biến thể thành một phiên bản mới của trang, và phiên bản trước vẫn được giữ để bạn quay lại khi cần.

Tự động hoá là tuỳ chọn và luôn tắt trừ khi bạn chủ động bật. Khi có sẵn, nó chạy trong giới hạn bạn đặt, như số thử nghiệm được chạy cùng lúc, tự quay lại bản cũ nếu một chỉ số bảo vệ xấu đi, có thể tắt bất cứ lúc nào và ghi mọi thao tác vào nhật ký kiểm toán.

Từ phát hiện CRO đến thử nghiệm

Trợ lý CRO kiểm tra đo lường và chất lượng dữ liệu trước, rồi gắn nhãn mỗi phát hiện theo mức độ đã biết. Số liệu đằng sau mỗi phát hiện đều lấy từ dữ liệu phân tích của bạn.

Chỉ thử nghiệm mới biến một giả thuyết thành phát hiện đã kiểm chứng. Bạn cũng có thể bác bỏ một phát hiện và ghi lại lý do.