A/B Testing

bucket testing 또는 split-run testing으로도 알려진
user experience 연구 방법론.

주로 두 변수로 구성된 두 개의 실험으로 구성됨
즉, 한 가지 변수를 다양한 버전으로 비교하여

무엇이 더 효.과.적인지
판단하기 위해 사용.

Example

예를 들어보자.

링크를 만들어야하는데
텍스트를 무슨 색으로 해야할까?

무슨 색을 해야 더 많이 클릭할까?

바로가기 / 바로가기

넷플릭스에서도 A/B 테스트를 자주 사용한다고 한다.

Netflix Technology Blog에 따르면
일부 유저를 골라

기존 UI experience 를 받는 'control group'과
구체적인 가설에 기반한 다른 경험을 제공받는 'treatment group'으로 나눈다.

그리고 각 그룹에서 얻은 지표들을 비교하여
가설을 검증한다고 한다.

자세한 내용은 원문을 참고하시라.

넷플리스 테크블로그 바로가기 / 넷플리스 테크블로그 바로가기

활용

다른 그룹에서 얻은 실험결과를 어떻게 비교해야할까?

필요한 것이 바로
Two-sample hypothesis tests이다.

이에 대해 알아보도록하자.
TBU....

Reference

Netflix Technology Blog (2022, January 10). What is an A/B test? Medium. Retrieved December 7, 2022, from https://netflixtechblog.com/what-is-an-a-b-test-b08cc1b57962

728x90