모델이 바뀔 때마다 청구서가 흔들린다

기업들이 AI 벤더를 갈아타는 건 결국 비용 얘기다

TechCrunch가 공개한 데이터가 흥미롭다. 비즈니스 사용자들이 OpenAI와 Anthropic 사이를 생각보다 훨씬 자주 오간다. 새 모델이 나오면 반대편으로 이동하는 패턴이 반복되고, 이 현상을 두고 투자자들은 "엔터프라이즈 AI 지출의 낮은 점착성(stickiness)"이라고 읽는다.

대형 투자자 입장에서 이건 불안 신호다. 하지만 작은 팀 입장에서는 다른 각도로 읽힌다. 기업들이 이렇게 자주 공급사를 바꾼다는 건 — 전환 비용이 생각보다 낮거나, 아니면 단가 격차가 커서 전환 공수를 감수할 만하다는 신호다. 어느 쪽이든 우리한테 유용한 정보다.

주의할 점은 하나 있다. "싸니까 갈아타자"는 결론이 너무 쉽게 나온다. 실제 전환 비용에는 청구서 바깥에 숨어 있는 것들이 있다. 그 구조를 모르고 움직이면 아낀 돈보다 쓴 시간이 더 크다.

단가 격차는 체감보다 훨씬 크다

구체적인 숫자로 들어가야 얘기가 된다.

2026년 현재 저가형 모델(Haiku급 vs GPT-4o mini급) 사이 입력 토큰 단가는 3~5배 차이가 난다. 출력 토큰도 비슷한 비율이다. 반면 상위 모델(Sonnet급 vs GPT-4o급) 구간에서는 격차가 훨씬 좁아진다. 즉 볼륨이 몰리는 저가형 구간에서 격차가 제일 크다.

우리 봇 운영 구조를 예시로 삼으면 현실이 느껴진다. 사이트 12개, 하루 발행 타겟 각 12건 기준으로 본문 생성 한 건당 평균 2,500 입력 + 1,800 출력 토큰이 소비된다. 여기에 발행 후 자동 검수 호출(상위 모델)까지 더하면 하루 약 15만20만 토큰이 나간다. 월로 환산하면 450만~600만 토큰. 저가형 모델 기준으로 공급사 간 단가가 3배 차이라면, 월 청구서도 3배 갈린다. 지금 6만 원 내고 있다면 한쪽은 18만 원이다.

작은 숫자처럼 보일 수 있다. 근데 이게 사이트가 30개로 늘고 봇 호출 빈도가 높아지면 월 수십만 원 차이로 벌어진다. 스타트업에서 그 돈은 서버 한 대 렌탈비다.

진짜 전환 비용은 API가 아니라 프롬프트다

여기서 함정이 있다. 단가만 보고 갈아타기로 결정하면 며칠 뒤에 후회한다.

API 연결 자체는 쉽다. 우리 구조처럼 claude_cli 같은 추상화 헬퍼를 쓰고 있다면, 호출부 파일 하나 수정으로 끝난다. 문제는 그 다음 단계다. Anthropic과 OpenAI 모델은 명령어 해석 방식, 출력 포맷 선호, 경계 조건 처리가 미묘하게 다르다. 같은 프롬프트를 그대로 들고 가면 결과가 달라진다.

직접 테스트해보니, 본문 생성 프롬프트를 모델만 바꿔서 넣었을 때 섹션 구조와 문장 패턴이 달라져서 자동 검수 통과율이 일시적으로 뚝 떨어졌다. 프롬프트를 새 모델 특성에 맞게 재조정하는 데 3~4일이 걸렸다. 이 공수가 "전환 비용"이다. 청구서에 안 찍힐 뿐이다.

의사들이 AI 진단 도구를 쓰면서 겪는 것과 비슷한 패턴이다. 의사들이 말하는 "AI가 의사보다 우월한 이유"의 전제 — 즉 원시 데이터 처리 능력이 인간 직관을 앞선다는 것 — 는 맞다. 그럼에도 실제 병원 워크플로에 통합이 느린 이유는 기존 시스템과 맞물리는 인터페이스 조정 공수 때문이다. 성능이 우월해도 전환 비용이 그것을 상쇄한다. AI 벤더 교체도 정확히 같은 구조로 작동한다.

우리라면 지금 어떻게 구조를 짜는가

당장 공급사를 바꾸지는 않는다. 대신 다음 번 단가 역전에 반응할 수 있는 구조를 지금 심어두는 게 더 실용적이다.

첫째, 추상화 레이어를 provider-agnostic하게 만든다. 현재 claude_cli는 Anthropic 전용이다. 여기에 provider 파라미터 하나를 추가해 같은 인터페이스로 OpenAI·Gemini까지 라우팅할 수 있게 바꾸면, 다음 번 단가 역전이 왔을 때 인프라 전환은 반나절 안에 된다. 프롬프트 재조정 시간은 여전히 필요하지만, 그 부분만 남는다.

둘째, 모델 티어를 용도별로 확실히 분리한다. 이미 본문 생성은 Haiku, 검수는 Sonnet으로 나누고 있다. 여기서 한 발 더 나아가면 — 단순 분류 판단, 슬러그 생성, 짧은 메타 추출처럼 복잡하지 않은 작업을 가장 싼 모델로 더 내려보낼 수 있다. 이 티어 분리만 제대로 해도 현재 공급사를 바꾸지 않아도 월 청구서를 20~30% 줄일 수 있다.

세 번째 선택지도 있다. 아예 LLM 호출을 빼는 것. 반복 고정 포맷 생성, 숫자 검증, URL 슬러그 추출 같은 작업은 규칙 기반 로직으로 대체하면 된다. 월 수만 건 호출 중에서 LLM이 진짜 필요한 호출은 생각보다 적다.

지금 바로 써먹을 것들

토큰 사용량을 먼저 측정하라. 뭘 절감할지 모르는 상태에서 구조를 바꾸면 오버엔지니어링이 된다. 봇별 월간 토큰 소비량을 로그에서 뽑아 어느 봇이 가장 많이 쓰는지, 입력 대비 출력 비율이 어떤지 먼저 파악해야 한다. 벤더 교체든 모델 다운그레이드든, 그 데이터가 있어야 의미 있는 판단이 나온다.

provider-agnostic 추상화를 지금 심어둬라. 나중에 한다는 건 안 한다는 말이다. 호출부에 provider 파라미터 하나만 추가해두면, 단가 역전이 오는 날 실험을 반나절 안에 돌릴 수 있다.

싼 모델 실험은 스테이징에서 먼저. 모델을 바꾸면 프롬프트 재설계가 따라온다. 자동 검수 통과율을 이전 모델과 비교해서 품질이 명확히 낮아진다면, 비용 절감 효과가 없는 셈이다. 재작업 공수가 절감액을 먹어버리기 때문이다.

6개월 단위로 비교하라. 기업들이 새 모델이 나올 때마다 공급사를 바꾸는 건 그 시점 단가가 유리해서다. 3개월 뒤 반대편이 더 싼 모델을 내면 다시 돌아간다. 작은 팀은 이 사이클에 올라탈 여력이 없다. 구조는 유연하게 짜되, 전환 결정 자체는 6개월 이상 지속될 단가 차이가 확인될 때만 하는 게 낫다. 모델 릴리즈 주기가 빨라질수록 이 원칙이 더 중요해진다.

원문: AI News & Artificial Intelligence | TechCrunch