여기 방문하신 분들은 AB시험 내용을 잘 아시겠죠.
이 글은 AB 테스트에서 해결할 수 없는 고민의 해결 방법을 소개했다.
벤델 알고리즘이라는 기계 학습의 한 분야를 중심으로
정말 야단났다!빨리 나에게 방법을 알려줘!무슨 좋은 점이 있겠는가!여러분께 총괄하고 싶습니다.
디자이너가 이걸 보고 괜찮은 걸 만들었잖아!내 목표는 엔지니어들에게 던지는 것이다.
여기 상당히 상세하게 쓰여 있으니, 자세히 알고 싶은 사람은 여기에 쓰십시오
Slide Share 시작 및 실행

무엇을 맹티안 알고리즘이라고 하는가

두루뭉술하게 말하다
나는 어느 시기에 가장 많은 돈을 벌고 싶다!
사람을 위한 알고리즘이야.
구체적인 예를 한번 더 보도록 하겠습니다.

바티멘 고른주의의 사용지

너는 3만 엔을 가지고 가장 좋아하는 도박장에 왔다.
플러그에 관심이 없는 당신은 카지노에 도착하자마자 플러그 테이블 앞으로 온다.
그것은 이미 매우 빠른 속도다.마카오이런 느낌이야.
그래서 너는 반드시 두 개의 플러그 앞에서 고려해야 한다.
그럼 오늘은 어떻게 이겨야 할까요?
여러 가지 작전이 있을 것 같아요.
여기서 AB 테스트와 멘디 알고리즘의 차이점을 소개하겠습니다.

AB 시험의 사고

그렇게 생각해.
일단 1만엔을 투자하고 나머지 2만엔은 좋은 쪽으로 투자합시다.
나는 이 방법의 결점을 고려해 보겠다
결점
정말 1만 엔으로 판단할 수 있을까...?실제로 설정된 건 다른 방면이죠... 이런 고민이 있어요.
호랑이 기계를 다루는 사람이라면 공감할 만한 고민이 되겠죠!이쪽으로 갑시다!결정하고 옆에 다른 사람이 앉아 펑펑 꺼낸 날...!
그 고민을 해결하는 것은 만세주의다.

바티멘 고론주의적 사고

그렇게 생각해.
좋은 플러그에 투자하고 싶어요.
가능하면 고생 안 할게요!그렇게 생각해.
바티멘 콜럼니스트는 가능한 한 그 이상에 접근하기 위해 고려한 것이다.
그럼 우리 실천 방법을 이야기합시다.

문제를 처리하다

이번에는 자사 홈페이지에서 자주 하는 AB 테스트 사례에 대해 BANDAI 알고리즘을 적용하고 싶다.
웹 사이트의 AB 테스트로 플러그인을 교체하는 예를 들면

사용자에 대한 슬롯 표시 = 모드의 임의

회전 간격 = 액세스 수

각

= CV(전환)

그렇게 말해도 돼.

본사 사이트

저희 회사 홈페이지는요.
[이사하고 싶은 사람]은 [많은 업계에서], [좋아하는 회사에 선뜻 신청할 수 있는 사이트]입니다.

그 페이지에는 모든 이삿짐센터의 추산 금액이 동시에 표시되는 '리스트 페이지' 라고 불리는 페이지가 있다.
"아! 대단해! 정보를 한 번만 입력하면 전화를 하지 않아도 여러 이삿짐센터의 견적 금액을 알 수 있어!"
문제는 이용자들에게 관심 있는 정보는 금액뿐만 아니라 입소문, 혜택 등이 있다는 점이다.
역시 대기업이 좋구나!이런 사용자도 있을 수 있어요.
현지 밀착형 상가가 괜찮다고 생각하는 사용자도 있죠.
업자와 견적의 일람표를 어떻게 표시하는 것이 좋을까...
나는 이것이 자연스러운 추세라고 생각한다.당사에서도 개선을 위한 AB 테스트를 자주 합니다.
이번에 AB 테스트 결과에 대해 만방향 알고리즘을 사용했다면~.

대결 방법

AB 테스트 결과가 있으니 그때 번지점프 알고리즘을 사용했다면 실험을 해보세요.
평가는 순전히 판매로 승부해야 한다.이곳의 매출액은 아래와 같다.
$매출액=CV수*ARPPU$
CV는 변환(온라인으로 예약한 사용자 수)
ARPPU는 전환된 각 사용자의 매출액이다.
CV 수
$CV = UU 수\times CVR$
되다
CVR(전환율: 전환의 확률) AB 테스트 시 1일 1일의 값을 사용합니다.
문제를 간소화하기 위해
ARPPU는 어떤 방법으로든 일정한 값으로 계산됩니다.
단순히 CV 수로 승부를 결정짓는 셈이다.
그리고 UUU수, CVR도 같은 조건이라면?왜 승부를 겨루어야 합니까?다 똑같은 것 같아.
A모드 B모드에 사용자를 할당하는 방법이 중요합니다.

설치 방법

실장은 별거 아니지만 밴드골리지로 해보면 어떨까?
이러한 의문에 대해 우리는 결과를 아래와 같이 보여 보려고 한다.
먼저 사용자가 A 모드를 표시할 확률을 정의합니다.

ユーザにAパターンを表示させる確率=\frac{\exp(\frac{rA}{tau})}{\exp(\frac{rA}{tau}) + \exp(\frac{rB}{tau})}

tau=定数\\
rA=AパターンのCVR\\
exp(x)=exp^{x}

이것은 소프트맥스법이라고 불리는 방법이다.
여기서 rA, rB는 첫날부터 전날까지 CVR의 합계값(실천값)을 매일 사용한다.
퇴화법으로 $tau를 10000으로 설정하고 0.01로 조정합니다.
나는 여러 번 시도했지만, 일회식 (직선) 은 아마 안 될 것이다.
$CV = UU×rA×A 모드의 CVR+UU×rB×B 모드의 CVR$
대략적인 계산을 통해 CV 수의 우열로 나뉜다.

결실

아쉽게도 데이터가 공개가 안 돼요.
CV 수는 일정 기간 2% 증가했습니다.
2% 개선되면 이런 뜻인가요?이런 느낌.
매출액으로는 8만엔가량 올랐다.
응, 미묘해.
하면 할수록 쌓이기 때문에 먼지가 쌓인 물건이다.

감상

일정 기간이 정해져 있다면 번지점프 알고리즘은 절대 가능하다고 생각합니다.
원래 목적은 수익을 극대화하는 것이다.
$tau를 더 잘 설정하면 BANDAID 알고리즘이 지지 않습니다
나쁜 옵션을 좋은 선택으로 오인하기 어렵다.
어쨌든 도입을 시도해 본 좋은 점은 없을까.
도입 원가도 그리 높지 않다.
패턴 폐기에 시간이 소요됨
창의성을 유지하는 동안 창의비를 내면 안 돼요.
AB 테스트를 착실하게 해보고 싶지만 그동안 손해 보고 싶지 않은 분들은 꼭 해보세요.