클로드 코워크를 1주 반 만에 만든 앤트로픽 리드가 클로드에게 일을 맡기는 법 — '전문가처럼 해 줘' 대신 쓰는 4가지

핵심 요약

앤트로픽에서 클로드 앱과 코워크의 엔지니어링을 이끈 펠릭스 리세버그는 AI에게 “전문가처럼 행동해”라고 역할을 맡기는 것보다, 전문가가 실제로 쓰는 도구와 작업 절차를 수행하게 하는 것이 더 효과적이라고 설명한다. AI가 결과물을 빠르게 만들수록 중요한 일은 사람이 목표와 품질 기준을 정하고 결과를 검증하는 방식으로 바뀐다는 분석이다.

주요 기술·업무 방식

• 결과만 요구하지 말고 전문가의 과정을 재현하게 한다. 글쓰기라면 “좋은 글로 고쳐 줘”에서 그치지 않고, 주장을 크게 발전시키거나 반대 의견과 가장 강한 반론을 찾게 하는 식이다. 좋은 작업물은 타고난 감각만이 아니라 오랜 시간 다듬은 절차의 결과라는 관점이다.
• ‘전문가 역할극’보다 실제 도구와 기법을 지정한다. 예를 들어 애니메이션이나 3D 작업에서 전문가인 척하라고 하기보다, 전문 애니메이터가 쓰는 Blender 같은 도구를 사용하게 한다. 회계나 데이터 분석도 전문 용어를 흉내 내는 것보다 해당 분야의 도구·지식·기법을 활용하게 하는 편이 낫다.
• 적대적 리뷰로 결과물의 약점을 찾는다. 문서나 슬라이드 등을 만든 뒤 여러 클로드 작업을 병렬로 돌려 “내 주장이 왜 틀렸는지, 사실관계가 어디서 잘못됐는지 증명하라”고 시킨다. 새로운 결과를 만드는 것보다 결함을 찾는 일이 상대적으로 쉬우므로, 경우에 따라 더 작은 모델로도 유용한 검토를 할 수 있다.
• 비판을 모으는 ‘판사’ 역할을 별도로 둔다. 리뷰 에이전트들의 지적을 또 다른 클로드 세션이 검증해 유효한 피드백만 가려낸다. 필요한 경우 그 피드백을 원래 결과물을 만든 세션에 돌려보내되, 작성 세션이 모든 비판을 무조건 반영하지 않고 실행 가능성과 타당성을 판단하게 한다.
• 자기 결과를 스스로 평가하게만 두지 않는다. 한 세션은 자신이 만든 작업물을 잘 판정하지 못할 수 있다. 가능하면 기본 자료나 실제 성과처럼 외부에서 확인할 수 있는 근거를 사용하고, 그것이 어려우면 별도의 클로드 세션을 검토자로 활용한다. 사실 확인에서는 숫자마다 신뢰할 만한 1차 출처를 찾고 검증하게 하는 방식을 신뢰한다고 말한다.
• 역할별 에이전트를 지나치게 만들기보다 필요한 데이터와 도구를 제공한다. 클로드는 여러 분야에 걸쳐 활용할 수 있는 범용 모델이므로, 사람의 이해를 돕겠다는 이유로 데이터 과학자·회계사 같은 역할을 세세히 설정하면 오히려 활용 범위를 좁힐 수 있다는 의견이다. 필요한 데이터에 접근할 수 있도록 도구를 제공하고, 도구가 어떤 자료를 다루는지 잘 설명하는 편이 낫다. 스킬과 지침은 모델이 발전하면서 효용이 빠르게 낮아질 수 있고, 제거했을 때 결과가 나아지는 경우도 있다고 덧붙인다.
• 작업을 하나씩 전달하기보다 원자료와 컴퓨터 접근을 제공한다. 사람이 오류 사례를 하나씩 찾아 AI에 넘기는 ‘컨베이어 벨트’ 방식 대신, AI가 전체 오류 데이터에 접근해 스스로 무엇을 처리할지 찾게 하는 편이 더 큰 가치를 낼 수 있다. 시작 단계에서는 데스크톱 앱의 브라우저로 기존 시스템에 로그인해 클로드가 직접 사용하게 해 보고, 반복적으로 효과가 확인된 업무에 나중에 커넥터를 고려하라고 권한다. 처음부터 데이터를 모두 내려받거나 연동을 구축할 필요는 없다는 조언이다.

검증과 피드백 가이드

• 사람의 리뷰와 AI 리뷰를 나란히 돌려 본다. 곧바로 일을 맡기기보다, 사람이 직접 검토 의견을 쓰는 동시에 클로드에도 리뷰를 시켜 몇 차례 비교한다. 서로 일치하는 점과 다른 점을 파악하면 신뢰도를 확인하고 작업 흐름도 다듬을 수 있다.
• 반복되는 피드백을 원칙으로 정리한다. 팀 채팅이나 GitHub 등에 흩어진 과거 피드백을 모은 뒤, 이를 일관된 규칙과 원칙으로 요약해 향후 리뷰에 활용한다. 필요하면 그중 실제로 확신하는 원칙과 단지 추측에 가까운 원칙을 다시 구분한다. 클로드를 Slack 안에서 여러 사람이 함께 쓰는 방식도 팀 피드백 흐름의 한 예로 언급된다.

제품과 일의 변화에 대한 견해

• AI 덕분에 프로토타입을 많이 만드는 비용은 낮아졌지만, 사람의 주의력은 여전히 제한적이다. 좋은 제품의 신호는 기능이 많다는 것보다 몇몇 사용자가 빠르게 이해하고, 이전에는 하지 못했던 일을 할 수 있게 되는 것이다.
• 소프트웨어를 만드는 비용은 내려가도 좋은 제품의 핵심은 달라지지 않았다고 본다. 사용자의 필요를 이해하는 공감과 실제 가치 전달이 중요하며, 가치가 없는 불편한 소프트웨어가 먼저 대체될 가능성이 크다고 전망한다.
• AI의 능력과 일반 사용자가 실제로 활용하는 수준 사이에는 큰 간극이 있다. 개인과 기업은 단순히 주어진 작업을 반복시키기보다, 원하는 결과가 무엇인지 다시 생각하고 가능한 목표를 더 크게 잡아야 한다.
• 엔지니어에게는 API를 외우거나 기술적으로 우아한 구현을 만드는 것보다 사용자에게 영향을 주는 결과를 내는 능력이 중요해지고 있다. 실제 제품을 만들어 보고 고객을 이해하며, 여러 시스템을 유용하게 연결하는 역량을 권한다.
• AI의 지능 향상 속도는 사람들이 예상한 것보다 빠를 수 있으며, 현재의 AI 제품은 스마트폰 이전의 휴대전화 같은 초기 단계일 수 있다고 본다. 제품과 조언이 몇 주 만에도 크게 달라질 수 있다는 점도 강조한다.

주요 화자 및 출처

• 펠릭스 리세버그 — 앤트로픽의 엔지니어링 리더. 클로드에 일을 맡기는 방법과 제품·엔지니어링의 변화에 대해 설명한다.
• 마리나 모길코 — 인터뷰 진행자.
• 주요 출처 — Silicon Valley Girl 인터뷰 「Claude Engineering Lead: “Stop Using Claude Like It’s 2024”」. 인터뷰 중 리세버그는 자신의 블로그 글과 업무 사례도 언급한다.