AI 도구도 공급망이다 — 소수 팀의 모델 의존성 전략

Replit이 털어놓은 것

AI 모델 호출을 추상화 계층 하나로 집중시키면 Replit 같은 벤더 전환 비용을 줄일 수 있다. 이게 핵심 답이다.

단, 추상화만으로는 반쪽이다. 생성과 판단에 같은 모델을 쓰면 비용이 조용히 폭발하고, 판사 모델을 버전 고정하지 않으면 기준이 알아채지 못하는 사이에 바뀐다. 이 두 함정이 이 글을 끝까지 읽어야 할 이유다.

Replit CEO는 2026년 10월 Anthropic과의 파트너십이 종료됐다고 공개했다. 이유 중 하나가 비용이었다. 8월에 OpenAI와 새 파트너십을 발표했지만, 그때 Anthropic을 끊었다는 말은 없었다. 두 달 뒤에야 털어놓은 셈이다.

제법 큰 코딩 도구 플랫폼이 AI 공급자를 조용히 교체하는 데 그 정도 시간이 걸렸다는 뜻이기도 하다. 그리고 그건 파트너십 관계의 문제만이 아니라 코드 구조의 문제이기도 하다.

비용 차이가 실제로 얼마나 나는가

숫자부터 보자. Claude Sonnet 4.5 기준 입력 1M 토큰당 $3, 출력은 $15다. GPT-4o mini는 입력 $0.15, 출력 $0.60이다. 단순 계산으로 입력 20배, 출력 25배 차이가 난다.

Replit처럼 수백만 개발자에게 실시간 코드 완성을 제공하는 서비스라면 이 격차가 월 수십만 달러로 벌어진다. 비용이 전환 이유 중 하나였다는 게 놀랍지 않다.

소규모 팀은 스케일이 다르니까 괜찮다고 생각하기 쉽다. 오히려 더 예민하다. 월 API 비용이 $200에서 $400으로 두 배가 되면 스타트업 예산에서는 바로 느껴진다. 같은 이유로 우리 팀은 생성 단계와 검수 단계에서 서로 다른 모델을 쓴다. 초안 생성은 Haiku, 검수는 Sonnet 이상. 같은 작업 전체를 Sonnet으로 돌리면 비용이 3~5배 올라간다. 추상화 계층이 아무리 잘 돼 있어도 역할 분리를 하지 않으면 매달 비용 리포트가 충격이다.

추상화 계층이 없으면 교체가 수술이 된다

Replit이 전환 작업에 실제로 얼마나 걸렸는지 외부에서는 알 수 없다. 하지만 파트너십 발표와 종료 공개 사이에 두 달의 공백이 있었다는 건, 내부적으로 조용히 작업이 진행됐다는 신호다. 모델 호출이 서비스 곳곳에 직접 박혀 있을수록 교체 공수는 선형이 아니라 기하급수적으로 늘어난다.

직접 겪어봤다. 우리 봇 초기 버전 몇 개가 각자 방식으로 SDK를 직접 호출하고, 모델명을 파일 안에 하드코딩해뒀었다. 모델 하나를 바꾸려면 파일 서너 개를 열고 문자열을 찾아 수정해야 했다. 실수로 하나를 빠뜨리면 봇별로 다른 모델이 돌아가는 상황이 생겼고, 확인 방법도 없었다.

지금은 /opt/common/claude_cli.py 헬퍼 하나로 집중돼 있다. 모든 봇이 complete(user=..., model=...) 한 줄만 호출한다. 모델을 바꾸려면 헬퍼 파일 하나만 열면 끝난다. Replit 규모에서 이 구조가 처음부터 잡혀 있었다면, 전환이 두 달짜리 작업이 아니라 훨씬 짧은 일이 됐을 것이다.

AI 판사가 필요한가, 그리고 어떤 함정이 있나

"AI 판사가 필요하냐"는 질문에 우리 팀은 이미 답을 만들어두고 있다. 필요하다. 그리고 생성 모델과 판사 모델을 분리하는 것이 핵심이다.

발행 파이프라인에서 생성 봇이 초안을 만들면, 별도 검수 루프가 Claude Sonnet으로 그 글을 다시 보고 OK/REJECT/WARN을 판정한다. 이 층이 없었을 때는 길이 미달 글, 반복이 심한 문단, 사실 관계가 애매한 문장이 그냥 발행됐다. AdSense 심사에서 저품질 콘텐츠 판정을 몇 번 받고 나서야 프롬프트 지시만으로는 안 된다는 걸 인정했다.

판사 모델을 도입할 때 생기는 함정이 있다. 최신 버전으로 계속 업그레이드하면 판단 기준 자체가 바뀐다. 모델 버전이 올라가면서 이전에 WARN이 나오던 글이 OK가 되거나, 반대로 OK였던 것이 갑자기 REJECT를 받는 경우를 실제로 겪었다. 모델이 좋아지는 건 좋은 일이지만, 판사 기준의 일관성은 전혀 다른 문제다.

그래서 지금은 판사 모델을 claude-sonnet-4-6처럼 버전을 명시해서 고정한다. 생성 모델은 자유롭게 최신으로 올려도 된다. 하지만 판단 기준이 되는 모델은 버전 업그레이드 전에 동일 테스트셋으로 기준 변화를 확인하는 절차가 있어야 한다. Replit 상황에 대입하면, OpenAI로 전환할 때 생성 모델만 바꾼 게 아니라 검수 로직과 기준도 같이 다시 검증해야 했을 것이다. 그 작업이 두 달 공백을 설명하는 한 이유일 수 있다.

지금 바로 적용할 수 있는 것들

추상화, 역할 분리, 판사 고정, 비용 모니터링. 네 가지를 팀 규모에 맞게 구체적으로 정리하면 이렇다.

모델 호출이 여러 파일에 흩어져 있다면, 헬퍼로 집중시키는 것이 가장 먼저 할 일이다. 파일 하나만 고쳐도 전 봇의 모델이 바뀌는 구조가 목표다. 이게 없으면 어떤 공급자 변화가 오든 수술을 해야 한다.

생성과 판단을 다른 모델 등급으로 분리하는 것, 이게 비용 절감과 품질 보장을 동시에 잡는 방법이다. 검수에 추가 비용을 쓰는 게 저품질 발행 이후 트래픽 페널티나 AdSense 반려보다 훨씬 싸다. 이 순서를 바꾸면 반드시 나중에 더 큰 비용을 치른다.

판사 모델은 버전을 명시적으로 박아두어라. 업그레이드는 동일 테스트셋으로 기준 변화를 확인한 뒤에만 한다. 귀찮다고 건너뛰면 어느 날 발행 품질이 조용히 달라졌다는 걸 뒤늦게 알게 된다.

Anthropic, OpenAI 모두 Usage 대시보드에서 일별·모델별 비용을 확인할 수 있다. 월말 청구서가 충격이 되기 전에 주간 단위로 트렌드를 보는 것이 좋다. 특정 봇 호출량이 갑자기 튀면 루프 오동작이나 재시도 폭주를 먼저 의심해야 한다.

분기마다 대안 모델을 같은 프롬프트로 한 번씩 테스트해두어라. 교체를 결정하는 순간에 처음 비교하기 시작하면 판단이 서두른다. Replit도 8월 발표 훨씬 전부터 내부적으로 비교를 거듭했을 것이다. AI 공급자는 지금도 가격 정책을 바꾸고, 모델을 deprecated시키고, 파트너십 우선순위를 조정한다. 그 변화가 우리 워크플로에 도달하는 속도는 팀 규모와 무관하게 같다.

원문: AI News & Artificial Intelligence | TechCrunch