프로덕트 매니저 업무의 절반은 AI에게 넘겼지만, 이 몇 가지만은 죽어도 못 넘겼습니다

먼저 조금 반직관적일 수도 있는 이야기부터 하겠습니다. 이 1년 동안 저는 프로덕트 매니저의 일상 업무 중 거의 절반을 실제로 AI에게 넘겼습니다. 그것도 조금도 아까워하지 않고요. 하지만 다른 몇 가지 일은 단 하나도 넘기지 못했고, 앞으로도 아마 넘기지 않을 겁니다. AI가 못해서가 아니라, 그 몇 가지는 넘겼다가 한번 틀리면 제가 아예 알아차릴 수 없고, 알아차렸을 땐 이미 늦기 때문입니다.

이 두 무더기의 일을 가르는 건, 알고 보니 ‘어렵냐 쉽냐’도 아니고 ‘지루하냐 재미있냐’도 아니었습니다. 그건 또 다른 질문이었습니다. 이 일을 AI가 틀리게 했을 때, 내가 그 자리에서 바로 알아볼 수 있는가? 알아볼 수 있으면 넘기고, 알아볼 수 없으면 제 손에 꽉 쥐고 놓지 않습니다.

이 글에서는 그 경계선을 따라, 제가 이 1년간 ‘넘긴 것’과 ‘남긴 것’을 하나하나 펼쳐 보이겠습니다. 그리고 넘기고 나서 하마터면 크게 넘어질 뻔했던 몇 번의 경험도 이야기하겠습니다. 어떤 일을 AI에게 시키고 어떤 일을 시키지 말지 고민하고 있다면, 시행착오를 조금은 덜어드릴 수 있을지도 모릅니다.

먼저 넘긴 것: ‘한눈에 맞고 틀림을 검증할 수 있는’ 일들

첫 번째, 각종 문서의 초안 작성. PRD, 주간 보고, 요구사항 명세, 상사에게 올릴 보고——이런 것들은 거의 다 AI에게 먼저 초안을 잡게 합니다. AI가 70~80점짜리 바탕을 주면, 저는 그 위에서 고칩니다. 왜 넘길 수 있냐고요? 문서가 맞는지 틀린지는 제가 한번 읽으면 바로 알기 때문입니다. 어느 문장이 빈말인지, 어느 지점을 짚지 못했는지, 제 눈은 피해 가지 못합니다. AI는 저를 ‘빈 페이지 앞에서 멍하니 있는’ 상태에서 건져 올리는 일을 맡고, 저는 그 70점짜리를 제가 원하는 90점으로 고치는 일을 맡습니다. 이 일은 AI가 저보다 빠르게 하고, 저도 빠르게 검증합니다. 남는 장사입니다. 솔직히 말하면, 문서 작성에서 가장 사람을 소진시키는 건 결코 타이핑이 아니라 아무것도 없는 상태에서 첫 문장을 시작하는 그 막힘입니다. 그 한 번의 막힘을 AI가 대신 넘겨받으니, 제가 아낀 건 시간만이 아니라 심적 에너지입니다.

두 번째, 자료 조사와 첫 번째 경쟁사 분석. 새로운 분야를 이해하거나 몇몇 경쟁사를 파악하려 할 때, 저는 먼저 AI에게 공개된 정보를 한 판 정리해 달라고 합니다. 이 회사들이 각각 어떻게 하고 있는지, 노선이 어떻게 다른지, 대략적인 장단점은 무엇인지. AI는 제가 하루 걸릴 정보 수집을 30분 만에 끝냅니다. 여기서도 핵심은 ‘내가 검증할 수 있다’는 것입니다. AI가 정리한 게 맞는지, 지어낸 건 없는지는 제가 잘 아는 두 지점을 대조해 보면 믿을 만한지 아닌지 알 수 있습니다. 믿을 만하면 쓰고, 아니면 다시 합니다. 한번은 AI가 어떤 경쟁사에 대해 ‘유료 멤버십 체계를 출시했다’는 세부 사항을 지어냈는데, 아주 그럴싸하게 설명해 놓았습니다. 그런데 그 회사는 마침 제가 잘 아는 곳이라 그런 일이 전혀 없었습니다. 잘 아는 두 지점을 슬쩍 대조하자마자 바로 들통났죠. 그래서 AI가 조사한 자료는 절대 그대로 믿지 않습니다. 언제나 제가 아는 지점 두 개를 골라 먼저 찔러 봅니다. 찔러서 뚫리면 그 버전은 통째로 버립니다. AI에게 넘길 수 있는 근거는 결코 ‘내가 AI를 믿는다’가 아니라, ‘내가 언제든 AI를 잡아낼 수 있다’는 것입니다.

세 번째, 수많은 사용자 피드백을 분류하고 공통점 찾기. 수백 수천 건의 리뷰와 피드백이 쌓여 있으면, 한 건씩 읽다가 눈이 빠질 지경입니다. 이제는 그냥 AI에게 던져서 분류하고 태그를 달게 하고, 반복적으로 나타나는 불만을 골라내게 합니다. AI는 ‘사용자가 대체 무엇을 욕하고 무엇을 칭찬하는지’에 대한 지도를 그려 줍니다. 예전엔 반나절을 잡아먹던 이 일이 이제는 30분입니다. 게다가 AI는 저보다 인내심이 강해서, 200번째 건을 읽다가 딴생각에 빠져 놓치는 일이 없습니다.

네 번째, 회의록 작성과 논의를 할 일로 바꾸기. 회의가 끝나면 AI에게 녹음이나 기록을 회의록으로 정리하게 하고 누가 무엇을 해야 하는지 뽑아내게 합니다. 저는 한번 훑고 두어 마디 보태서 발송합니다. 예전에 회의가 끝난 뒤 30분간 하던 정리 작업이 사라졌습니다. 그 한번 훑는 것도 헛되지 않습니다. AI는 가끔 어떤 일의 담당자를 잘못 배정하거나, 지나가듯 한 말을 정식 결론으로 받아들이곤 합니다. 이런 건 한눈에 골라내서 고치면 그만입니다. 하지만 바로 이런 실수를 하기 때문에, 그 한번 훑는 것을 저는 절대 생략하지 않습니다.

그리고 프로토타입 제작. 이건 지난번에 따로 쓴 적이 있습니다. 한 문장짜리 아이디어를 오후 반나절 만에 AI가 클릭되는 물건으로 만들어 줍니다. 이것도 ‘넘긴 것’ 무더기에 들어갑니다.

이 다섯 가지를 이어 놓고 보면 공통점이 하나 있습니다. 모두 제가 그 자리에서 검증할 수 있는 맞고 틀림을 가지고 있다는 것. 문서가 좋은지는 제가 읽어 내고, 자료가 진짜인지는 제가 대조해 내고, 피드백 분류가 정확한지는 제가 샘플링해 냅니다. AI는 저를 힘들고 시간 잡아먹는 ‘노동’에서 해방시키는 일을 맡고, 마지막 ‘맞는가 틀리는가’의 관문은 언제나 제가 직접 지킵니다. 이것이 제가 안심하고 넘길 수 있는 모든 근거입니다.

다음은 남긴 것: ‘틀려도 내가 알아볼 수 없는’ 일들

넘기는 게 많아질수록, 어떤 몇 가지는 절대 넘겨선 안 된다는 걸 더 분명히 알게 됐습니다. 그것들은 전부 똑같은 지뢰를 밟기 때문입니다. AI가 틀리게 해도, 당신은 그 자리에서 알아볼 수 없고, 심지어 끝까지 알아볼 수 없다는 것.

첫 번째, 할지 말지, 무엇을 먼저 할지 결정하는 것. 다시 말해 우선순위와 취사선택입니다. AI가 선택지를 빠짐없이 나열하고 각각의 장단점을 늘어놓는 건 환영합니다. 하지만 ‘이 세 가지 요구사항 중 무엇을 쳐 내고 무엇을 먼저 올릴지’라는 결정은 절대 AI에게 넘기지 않습니다. 우선순위에는 맞고 틀림을 검증할 수 있는 정답이 없기 때문입니다. 그건 우리가 이번 분기에 대체 무엇을 원하는지, 어느 방향에 베팅하는지, 무엇을 포기할 각오인지에 달려 있고, 이것들은 제 머릿속과 어떤 문서에도 적히지 않은 수많은 맥락 속에 숨어 있습니다. AI가 주는 순위는 언제나 아주 합리적으로 보입니다. 그런데 ‘합리적으로 보인다’는 것이야말로 가장 위험합니다. 잘못된 우선순위 하나는, 몇 달이 지나 한 무더기의 리소스를 쏟아붓고 물거품이 되고 나서야, 방향이 처음부터 틀렸다는 걸 깨닫게 만듭니다. 이런 ‘당시엔 알아볼 수 없고, 나중엔 되돌릴 수 없는’ 실수는, 저는 외주 줄 수 없습니다.

두 번째, AI가 스스로 내놓은 것이 대체 맞는지 틀린지 판단하는 것. 이 말은 조금 빙빙 돌지만, 특히 치명적입니다. AI는 틀린 것을 진짜처럼 아주 자신 있게 이야기합니다. 존재하지 않는 데이터, 지레짐작한 사용자 결론, 그럴싸하게 들리지만 실은 성립하지 않는 논리. 만약 ‘AI가 맞는지 틀린지 판단하는 것’조차 제가 AI에게 넘긴다면(예를 들어 또 다른 AI를 불러 검증하게 한다면), 사람이 지키는 관문이 하나도 없어지고, 틀린 것이 파란불만 받으며 그대로 출시까지 돌진합니다. 그래서 AI가 확신에 차 있을수록, 저는 더더욱 스스로 멈춰서 한 번 검증합니다. 이 관문을 제가 한번 놓는 순간, 앞의 그 다섯 가지 ‘넘겨도 되는’ 일이 즉시 전부 지뢰로 변합니다. 넘길 수 있는 전제가 바로 이 관문이 아직 살아 있다는 것이니까요.

저는 이것 때문에 크게 넘어진 적이 있습니다. 한번은 AI가 한 무더기의 데이터를 분석해 줬는데, 결론이 근사하고 논리도 매끄러웠습니다. 너무 매끄러워 보여서 자세히 따지지 않고 그대로 보고서에 써 넣었습니다. 나중에야 AI가 두 지표의 기준을 뒤섞어서 전체 결론이 거꾸로 됐다는 걸 알았습니다. 그 일 이후로 저는 스스로에게 철칙 하나를 세웠습니다. 매끄러운 결론일수록 한 번 멈춰라. AI가 자신 있어 할수록 나는 게으름 피우지 마라.

세 번째, 진짜 사람 사이에서 분위기를 읽어야 하는 일들. 요구사항이 잘려서 속으로 화를 삭이는 동료를 다독이는 일, 죽어도 동의하지 않는 상사를 설득하는 일, 서로 싸운 두 팀 사이에서 균형을 잡는 일——이런 건 AI에게 넘길 생각조차 해 본 적이 없습니다. AI는 이메일 문구를 좀 더 정중하게 다듬어 줄 수는 있지만, 상대방이 지금 진짜 화가 난 건지 그냥 체면을 세울 명분이 필요한 건지, 농담을 던져도 되는지 아니면 반드시 진지해야 하는지는 읽어 내지 못합니다. 이 어조와 침묵, 그리고 두 사람의 지난 정 속에 숨어 있는 것들이야말로 이 일에서 가장 어렵고, 가장 외주 줄 수 없는 부분입니다. AI가 대신 쓴, 무난하고 그럴듯한 이메일 한 통이, 때로는 당신이 직접 쓴 서툴지만 진심 어린 두 마디보다 훨씬 더 큰 살상력을 가집니다.

네 번째, 가장 근본적인 것——‘무엇이 좋은가’에 대한 취향과, 일이 터졌을 때 내가 짊어지는 책임. 똑같이 클릭되는 프로토타입이라도, 어느 것이 ‘느낌에 맞고’ 어느 것이 어색한지, 그 선은 제가 이 몇 년간 쌓아 온 것입니다. 말로 설명은 못 해도 한눈에 알아봅니다. 그리고 이 제품에 문제가 생겼을 때, 나서서 책임지는 사람은 AI가 아니라 저입니다. 모델에게 책임을 지게 할 수는 없습니다. 모델은 잘못된 결정 때문에 잠을 설치지 않고, 성과 평가에서 깎이지 않고, 회고 회의에서 얼굴이 붉어지지 않습니다. 그리고 프로덕트 매니저라는 직무는 어떤 의미에서 바로 ‘구체적인 한 사람이 이 판단들에 책임을 지고 있다’는 것을 파는 일입니다. 이것만은 넘길 수 없고, 넘겨서도 안 됩니다.

새로운 일이 하나 들어오면, 나는 그 자리에서 어떻게 넘길지 말지 결정하는가

위의 두 무더기는 제가 1년간 쌓아 온 결과입니다. 하지만 막상 손에 해 본 적 없는 새로운 일이 하나 튀어나오면, 저는 이 목록을 뒤지지 않습니다. 그냥 저 자신에게 세 가지 질문을 던지면 금방 정할 수 있습니다.

첫 번째: 이게 틀리게 되면, 내가 그 자리에서 알아볼 수 있는가? 알아볼 수 있으면 넘기는 쪽으로, 알아볼 수 없거나 한참 뒤에야 드러나면 쥐고 있는 쪽으로. 문서는 틀리면 제가 읽자마자 알기 때문에 넘길 수 있고, 우선순위는 틀리면 몇 달 뒤에야 알기 때문에 넘길 수 없습니다.

두 번째: 이 일에는 대조할 수 있는 ‘정답’이 있는가, 아니면 전적으로 지금 이 순간의 취사선택과 관계와 취향에 달려 있는가? 객관적인 맞고 틀림이 있는 것(자료의 진위, 분류의 정확도)은 넘기고, 답이 ‘우리가 이번 분기에 대체 무엇을 원하는가’, ‘눈앞의 이 사람이 지금 어떤 감정인가’ 속에 숨어 있는 것은 남깁니다.

세 번째: 이 일이 삐끗했을 때, 구체적인 한 사람이 나서서 짊어져야 하는가? 누군가 책임져야 하는 일은 외주 주지 않습니다. 책임이라는 건 애초에 잠을 설치지도 않고 문책당하지도 않는 모델에게 넘길 수 없기 때문입니다.

예를 하나 들면 어떻게 쓰는지 바로 이해될 겁니다. 얼마 전 어떤 기능에 ‘AI 스마트 답장’을 붙일지 말지를 두고, 저는 이 세 질문으로 쪼갰습니다. 효과가 좋은지는 출시해서 써 보면 사용자가 누르는지 안 누르는지로 바로 압니다(첫 번째 질문: 알아볼 수 있다, 검증 가능). 하지만 ‘이 기능에 이만한 리소스를 투입할 만한가, 이 방향에 걸 가치가 있는가’는 정답이 없고 전적으로 우리의 베팅에 달려 있습니다(두 번째 질문: 판단에 달렸다, 남긴다). 게다가 정말 망하면 책임은 제가 집니다(세 번째 질문: 책임져야 한다, 남긴다). 그래서 결론은 아주 분명했습니다. AI에게 그 답장 기능의 프로토타입을 만들게 하되, 할지 말지, 이 판돈을 걸지 말지는 제가 직접 결단한다. 세 질문을 한 번 통과시키면, 넘길 것과 안 넘길 것의 경계가 저절로 떠오릅니다.

그 경계선은, 사실 줄곧 한 방향으로 밀려나고 있습니다

두 무더기를 펼쳐 놓고 보면, 제가 남긴 이 몇 가지 중 어느 하나도 ‘AI가 아직 충분히 똑똑하지 않아서’ 지켜 낸 게 아닙니다. 오히려 정반대입니다. 이메일을 근사하게 쓰는 것으로 치면, 우선순위를 조리 있게 나열하는 것으로 치면, AI가 저보다 나을지도 모릅니다.

제가 그것들을 남긴 건, 그것들의 가치 자체가 ‘한 사람이 직접 한다’는 데에 있기 때문입니다. 누군가 책임져야 하는 결정, 누군가 짊어져야 하는 판단, 누군가 진심으로 받아 내야 하는 관계. 이런 것들의 희소함은 AI가 못 해서 오는 게 아니라, ‘반드시 구체적인 한 사람이 여기 있어야 한다’는 데서 옵니다. 그래서 저는 이 경계선이 어느 날 갑자기 무너질까 봐 걱정하지 않습니다. 그건 ‘AI의 능력 한계’에 그어진 게 아니라 ‘누가 책임지는가, 누가 취향을 가지는가’에 그어져 있고, 후자는 당분간 사람만 할 수 있으니까요.

‘넘긴’ 무더기로 말하자면, 저는 그것이 점점 커지기만 하리라는 걸 잘 압니다. 오늘 AI가 초안을 쓰고 자료를 조사해 준다면, 내일은 초기 방안 설계까지 80점을 줄지도 모릅니다. 제가 해야 할 일은 몇 가지 일을 죽어라 붙들고 놓지 않는 게 아니라, 그 ‘맞는가 틀리는가’의 관문을 놓지 않으면서, 동시에 끊임없이 스스로에게 묻는 것입니다. 이제 어떤 옛 일을 넘길 차례인가?

다만 솔직히 말하면, 넘기는 일 자체에도 대가가 있습니다. 이건 제가 아직도 완전히 정리하지 못한 부분입니다. 문서 초안을 전부 AI에게 맡기다 보면, 오래 하다 보면, 저는 백지 상태에서 PRD 한 편을 처음부터 명료하게 생각해 내는 법을 서서히 잊게 되지 않을까요? 자료를 전부 AI에게 맡기면, 제가 직접 머리를 들이밀고 파고들어 감각을 익히는 능력을 잃게 되지 않을까요? 어떤 일은 지금도 가끔은 직접 처음부터 한 번 해 봅니다. AI가 잘 못해서가 전혀 아니라, 제 그 근육이 위축될까 봐서요. 정작 AI가 제대로 했는지 판단해야 하는 순간이 왔을 때, 이미 그 감각을 잃었을까 봐 두렵기 때문입니다. 넘길지 말지 외에, ‘얼마나 넘기고 얼마나 남겨서 스스로 연습할까’라는 문제가 하나 더 있는 것 같습니다. 이건 저도 아직 더듬어 가는 중이라, 여러분은 어떻게 저울질하는지 듣고 싶습니다.