AI 시대의 프로덕트 매니저 04 | '만들어야 하는가'의 판단이 처음으로 '만들 수 있는가'보다 비싸졌다

가장 믿어야 마땅한, 그런데 거꾸로 짚은 판단부터 하나 보겠습니다.

METR이 2025년 2월부터 6월까지 무작위 대조 실험을 하나 했습니다. 방법론의 엄밀함이 신약 임상시험과 같은 급입니다. 베테랑 개발자 16명, 평균 5년 경력에 자기가 유지보수하는 프로젝트에 수천 번 코드를 커밋해 본 사람들이, 당시 가장 강력한 AI 도구로 246개의 실제 작업을 처리했습니다. 사전에는 AI가 자신을 24% 빠르게 해줄 거라 예상했고, 다 끝낸 뒤에도 20% 빨라졌다고 느꼈습니다. 그런데 실제로 재보니, 19% 느려졌습니다.

여기서 거꾸로 짚인 게 무엇인지 보십시오. 무슨 복잡한 전략이 아닙니다. 「AI가 도대체 나 자신을 빠르게 해줬는가」라는, 가장 단순한 판단 하나입니다. 그것도 그들이 가장 잘 아는 코드, 가장 잘 아는 프로젝트 위에서 벌어진 일입니다. 가장 잘 아는 사람들이, 느낌만으로, 거꾸로 짚었습니다.

이 일은 AI가 빠르냐 아니냐와는 별 상관이 없습니다. 이게 진짜로 찌르는 지점은 이것입니다. 「만들어내는 일」이 빠르고 싸지면, 가장 믿어서는 안 될 것이 바로 「느낌」이라는 것. 그리고 프로덕트 매니저는 매일같이 느낌만으로 더 비싼 판단을 하나 내리고 있습니다. 이것, 만들어야 하는가.

1. 「이게 만들기 어려운가」를 더 이상 문턱으로 삼지 마라

예전에 아이디어를 걸러낼 때는, 당신을 대신해 관문을 지켜주는 천연 문턱이 하나 있었습니다. 엔지니어가 「이건 세 번의 이터레이션이 필요해요」라고 하면, 당신은 투입 대비 산출을 가늠해 보고 십중팔구 그냥 내려놓았습니다. 구현 난이도가 「만들고는 싶지만 만들 가치는 없는」 것들을 대량으로 걸러내 준 것입니다. 당신은 스스로 판단하고 있다고 여겼지만, 실은 절반은 난이도가 당신을 대신해 판단해 준 셈이었습니다.

지금 AI는 「이건 오후 안에 드릴 수 있어요」라고 말합니다. 문턱이 사라졌습니다. 그 결과는 당신이 옳은 일을 더 많이 해냈다는 게 아니라, 단숨에 기능 다섯 개를 출시했는데 그중 네 개는 아무도 안 쓴다는 것입니다. Marty Cagan은 2026년에 직설적으로 말했습니다. AI는 「무엇을 해야 하는가」의 문제를 풀지 못했고, 단지 회사가 아무도 원하지 않는 것들을 더 빨리 만들어내게 했을 뿐이라고. 똑같이 형편없는 로드맵이, 그저 더 빨리 달리고 있을 뿐입니다.

그래서 첫 번째 동작은 직관에 어긋납니다. 「만들 수 있는가, 얼마나 걸리는가」를 당신의 의사결정 근거에서 지워버리십시오. 그 답은 이제 영원히 「가능하다, 매우 빠르게」이고, 당신의 아이디어 선별에 더 이상 어떤 정보도 주지 않습니다.

2. 손대기 전에, 먼저 「안 만들면 어떻게 되는가」를 물어라

구현이 공짜가 된 뒤로, 가장 빠뜨리기 쉬운 질문은 거꾸로 된 것입니다. 이것을 안 만들면 어떻게 되는가?

이번 이터레이션에서 이 「스마트 추천」을 안 한다고 치면, 무슨 일이 벌어질까? 그래서 진짜로 영향받는 사람은 누구고, 얼마나 영향을 받지? 이게 없어서 떠나는 사람이 있을까?

정직하게 답을 다 했는데 「안 만들어도 별일 없다」는 걸 발견했다면, 그게 바로 답입니다. 이건 이번 이터레이션에 들어와선 안 됩니다. 이 질문이 유용한 이유는, 「만드는 게 신나고, AI가 오후 안에 뚝딱 내놓는」 유혹을 비켜 가서, 곧장 당신을 가치 앞에 마주 세우기 때문입니다. 어떤 기능이 「안 만들면 사달이 난다」로 버틸 수 있느냐가, 그걸 얼마나 빨리 만드느냐보다 훨씬 중요합니다.

3. 손대기 전에, 「다 만든 뒤에 무엇이 진짜가 되는가」를 적어라

Cagan은 프로덕트 매니저가 진짜로 가진 것은 두 가지라고 했습니다. why(왜 이 문제가 풀 가치가 있는가)와 what(다 만든 뒤에, 우리가 무엇이 진짜가 되기를 기대하는가). 두 번째 것은 코드를 쓰기 전에 이미 반증 가능한 한 문장으로 떨어져 있어야 합니다.

이 신규 사용자 온보딩을 출시한 뒤, 우리는 기대한다. 신규 사용자의 첫 주 리텐션이 35%에서 45% 이상으로 오를 것. 2주가 지나도 움직임이 없으면, 우리가 판단을 틀린 것이니, 잘라낸다.

이 문장을 못 쓴다면, 사실 당신은 자신이 왜 이걸 만들려는지 모르고 있다는 뜻입니다. 쓸 수 있다면, 당신은 자(尺)를 하나 갖게 됩니다. 당신이 사전에 직접 세운, 얼굴이 깨질 수도 있는 기대치로 재십시오. 「사장이 좋아하는가」 「동종 업계가 하는가」를 자로 쓰지 마십시오. 이 자는 AI가 당신에게 줄 수 없습니다. AI는 당신의 사업에서 무엇이 성공으로 쳐지는지 모릅니다.

4. AI에게 선택지를 펼치게 하고, 판단은 당신에게 남겨라 — 단 「느낌상 맞다」를 믿지 마라

AI가 가장 잘하는 일은 가능성을 쫙 펼치는 것입니다. 같은 문제에 서너 가지 해법, 각각의 대가, 남들은 어떻게 했는지. Cagan의 표현으로는 AI가 선택지를 surface하고, 사람이 어느 것이 가치 있는지 판단합니다. 이 단계는 마음껏 AI를 쓰십시오.

다만 고를 때는, 첫머리의 그 실험으로 돌아가십시오. 「느낌상 맞다」를 믿지 마라. 그 전문가 16명은 느낌으로 「빨라졌다」고 판단했고, 집단으로 거꾸로 짚었습니다. 당신이 느낌으로 「이 방안이 더 낫다」고 판단하는 것도 똑같이 믿을 수 없습니다. 그것을 3단계의 그 자에 갖다 대십시오. 어느 선택지가 당신이 적어둔 그 기대를 진짜로 만들 가능성이 가장 높은지, 그리고 진짜 증거가 있는지(사용자가 말했는지, 데이터로 봤는지) 말입니다. 어느 것이 읽기에 가장 매끄러운지가 아니라.

오늘 해볼 수 있는 한 가지. 당신이 지금 만들려고 하는, 게다가 「AI가 금방 만들어낼 수 있는」 기능을 하나 골라, 아무것도 쓰기 전에 두 문장을 적어보십시오. 안 만들면 어떻게 되는가, 다 만든 뒤에 무엇이 진짜가 되는가. 둘 중 못 쓰는 문장이 있다면, 그게 바로 오늘 가장 낮은 비용으로 주워 든 판단 하나입니다.

더 읽어보기

• METR 「Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity」(19% 느려졌는데 20% 빨라졌다고 착각한, 그 원본 보고서): https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
• Marty Cagan / SVPG, AI 시대 프로덕트 매니저가 가진 why와 what에 관하여: https://www.svpg.com/
• 이 시리즈의 03편 AI를 도구가 아니라 동료로 대하라
• 이 시리즈의 01편 프로덕트 매니저의 어떤 일이 AI에게 넘어갔고, 어떤 일이 오히려 더 비싸졌나