[리멤버] 내가 실험데이터 위주의 의사 결정 방식을 싫어하는 이유

리멤버에 제가 쓴 댓글을 옮겼습니다.

 

제가 실험주의, 데이터 기반의 의사 결정을 거르는 이유는 작은 스타트업에 있기 때문입니다. 스타트업은 1000%, 2000%와 같은 "미친 성장"을 매 순간마다 이뤄내야하는 곳입니다. 물론 저에게도 실험이 옳은 것 같아서 집중했던 시기가 있었습니다. 제 경우, 사용자에 대한 근본적인 이해 없이 진행하는 실험은 런웨이를 향해 달려가는 스타트업의 방향을 바꾸는 데에 도움을 주지 못하더라고요. 반면 비전과 미션을 갖고 실행했던 프로젝트들은 그 결과가 더 좋았습니다. 이후 실험, 데이터보다는 비전, 미션, 사회적 역할에 대해 고민하는 회사를 선호하게 됐습니다.

 

(추가)

A/B테스트는 CTR(Click-through rate, 전환율) 최적화가 목적입니다. 그리고 이는 CTR과 최적화가 기본적으로 가지고 있는 특성을 벗어나는 결과는 얻을 수 없다는 뜻이기도 합니다.

- CTR은 절대 100%가 될 수 없습니다.

- CTR 개선이 유입을 높일 수도 없습니다.

- 최적화는 현재 상황에서 더 효율성을 높이는 일입니다. 사업의 현재 모습이 이대로 굴러가도 괜찮을 때 의미 있습니다.

 

저는 대체로 Runway가 한정되어 있는 회사에서 일을 했는데요, 이 경우 흔히 말하는 “미친 성장“을 계속 발생시켜야합니다. 저는 아직까지 A/B테스트를 갖고 이런 미친 성장을 일으킨 경험이 없습니다. 대부분 실험은 프로덕트의 본질을 바꾸려는 목적으로 실행하지 않으니깐요. 일례로 티클에서 A/B테스트 및 기능 개선을 통해 KPI를 지속적으로 개선했지만, 결국 KPI의 기울기를 단번에 바꾼 건 새로운 핵심 기능이었습니다. 사용자의 본질적인 니즈를 찾지 못한다면 초기단계의 스타트업에게는 무의미한 일이 될 가능성이 높다고 생각합니다.