[3호] 문제는 왜 이렇게까지 복잡해졌을까

안녕하세요. 프로덕트를 만들며 생각이 점점 많아지고 있는 hubert입니다.
요즘 이런 질문을 자주 받습니다.

“왜 이렇게 복잡해졌죠?”

고객도 묻고, 동료도 묻고, 가끔은 나 스스로도 묻게 됩니다.

분명히 우리는 문제를 해결하겠다고 시작했는데,
설명은 점점 길어지고 있고,
예외 케이스는 늘어나고 있고,
결정을 내리는 데는 더 많은 시간이 걸리고 있습니다.

언제부터 이렇게 된 걸까요?
오늘은 제가 경험했던 일들을 이야기해보려고 합니다.

우리는 기능을 늘린 걸까, 복잡성을 늘린 걸까

처음 제품을 만들기 시작했을 때는 비교적 단순했었어요.

고객의 이탈이 생기면 흐름을 고쳤고,
전환율이 낮으면 버튼을 바꿨고,
불편하다는 피드백이 오면 UI를 다듬었습니다.

문제는 눈에 보였고,
해결책도 꽤 명확했죠.

그런데 어느 순간부터 회의 분위기가 달라졌습니다.

“이 경우에는 어떻게 계산되죠?”
“저 세그먼트에서는 다른 반응이 나오는데요?”
“이 지표는 좋아졌는데, 다른 쪽은 떨어졌어요.”

기능을 설명하는 시간이 점점 길어졌습니다.
그리고 그 설명은 대부분 ‘분기’에 대한 이야기였어요.

특정 조건에서는 이렇게 작동하고,
이 세그먼트에서는 다르게 노출되고,
이 이벤트가 발생하면 또 다른 로직이 붙고.

그때 조금씩 느꼈습니다.
아, 우리는 기능을 만드는 게 아니라
이미 구조를 관리하고 있구나.

기능이 많아져서였을까요?

돌아보면 꼭 그렇지만은 않았던 것 같아요.
문제는 기능의 개수보다,
그 기능들이 어떤 맥락 안에서 작동하는지
정리되지 않은 채로 쌓이고 있었다는 점이었습니다.

데이터도 비슷했습니다.

지표는 점점 더 정교해졌고,
우리는 더 많은 숫자를 보고 있었습니다.
그런데 이상하게도 결정은 더 어려워졌습니다.

데이터는 많아졌는데, 왜 결정은 느려졌을까

데이터 기반 의사결정을 하자는 이야기는 늘 옳게 들립니다.
감이 아니라 숫자로 말하자. 측정할 수 있는 것만 이야기하자. 가설은 검증하자.

저도 그 흐름 안에 있었습니다.
지표를 더 보고, 더 쪼개고, 더 분석했습니다.
전체 지표, 세그먼트별 지표, 퍼널별 지표,
실험군과 대조군 비교, 단기 효과와 장기 효과.

문제는, 지표가 늘수록
판단이 더 명확해진 게 아니라
오히려 더 신중해졌다는 점이었습니다.

회의에서는 이런 말이 자주 나왔습니다.

“이 지표도 한 번 더 보죠.”
“조금만 더 지켜보면 어떨까요?”
“확신이 조금 부족한 것 같아요.”

데이터는 쌓여가는데 결정은 자꾸 미뤄졌습니다.

데이터가 복잡성을 키웠던 경험

한 번은 이런 일이 있었습니다.
특정 서비스의 정책을 개선하려고 실험을 설계했는데,
지표가 세그먼트마다 다르게 나왔습니다.

어떤 그룹에서는 긍정적이었고,
어떤 그룹에서는 거의 변화가 없었고,
일부 그룹에서는 오히려 역효과가 보였습니다.
그때 우리는 이렇게 생각했습니다.

“그럼 케이스별로 다르게 대응하자.”

합리적인 판단처럼 보였습니다.
그런데 그 결정 이후로 구조가 빠르게 복잡해졌습니다.

세그먼트별 정책이 생기고,
조건별 분기가 늘어나고,
정책서는 점점 길어졌습니다.

운영은 더 어려워졌고,
새로운 사람이 이해하기까지 시간이 더 걸렸습니다.

우리는 데이터를 더 정교하게 보려고 했을 뿐인데,
결과적으로 더 복잡한 구조를 만들고 있었습니다.

우리가 놓쳤던 질문

지금 돌이켜보면 문제는 데이터가 아니었습니다.
우리가 놓친 건 이 질문이었습니다.

“우리는 이번 결정에서 무엇을 가장 중요하게 볼 것인가?”

모든 지표를 동시에 만족시키려는 순간 구조는 무거워집니다.
데이터는 사실을 보여주지만, 어떤 사실을 포기할지는 알려주지 않습니다.

그 선택은 결국 사람이 해야 합니다.

단순화는 숫자를 버리는 용기일지도 모른다

그 이후로 저는 한 가지를 먼저 정합니다.

이번 결정에서 가장 중요한 지표는 무엇인지.
그리고 나머지는 참고하되, 의도적으로 ‘결정 기준’에서는 제외합니다.
그렇게 하지 않으면 구조는 계속 비대해집니다.

단순화는 데이터를 부정하는 일이 아니라, 우선순위를 명확히 하는 일입니다.

그래서, 우리는 무엇을 만들고 있을까

요즘 저는 자주 이런 생각을 합니다.

우리는 더 정교한 기능을 만들고 있는 걸까요,
아니면 더 설명하기 어려운 구조를 만들고 있는 걸까요.

프로덕트를 만드는 일은
무언가를 계속 추가하는 일이 아니라
무엇을 남길지 결정하는 일에 더 가까운 건 아닐까요.

여러분의 제품은 지금
기능을 늘리고 있나요,
아니면 복잡성을 늘리고 있나요?

저의 다음 글에서는
가설이 어디에서 죽는지 이야기해보려고 합니다.
데이터는 있는데 왜 확신은 늘 부족한지에 대해서요.