GPU 공급이 늘어도 우리 API 비용은 왜 그대로인가

GPU 공급은 늘어나는데 왜 우리 청구서는 그대로인가

젠슨 황이 도쿄를 떠나며 남긴 계약서 뭉치가 인상적이다. SoftBank, NTT, Toyota, Sony — 이틀 사이에 일본 기술 생태계 전체를 관통하는 빅딜들이 체결됐다. NVIDIA H200 클러스터가 일본 전역 데이터센터에 깔릴 예정이고, 소프트뱅크는 손정의가 오래 전부터 공언해온 AI 인프라 계획을 드디어 가속화한다.

여기서 작은 팀이 빠지기 쉬운 착각이 있다. "GPU가 더 많이 깔린다 → AI API 비용이 내려간다"는 단선 논리다. 현실은 그렇지 않다. 이 등식이 성립하려면 엔터프라이즈용 GPU가 퍼블릭 클라우드로 흘러야 하는데, 이번 일본 딜의 방향은 정반대다. 그 구조를 먼저 이해하면, 지금 당장 우리가 뭘 해야 하는지가 보인다.

이번 일본 딜이 만드는 시장 구조

이번 빅딜의 공통 키워드는 '주권형 AI 인프라(sovereign AI)'다. SoftBank는 자체 AI 클라우드를 짓고, NTT는 일본 내 데이터 주권을 명목으로 독립 인프라를 구축한다. 이 물량은 AWS나 GCP처럼 일반 개발자에게 열린 퍼블릭 클라우드로 흘러가지 않는다. 국가·기업이 외부 클라우드 의존도를 줄이려는 목적으로 쌓는 것이어서, 구조적으로 격리된다.

단기적으로는 GPU 공급 압박이 오히려 심해질 수 있다. 대형 계약이 물량을 쓸어가면 RunPod, Lambda Labs 같은 저가 GPU 클라우드 사업자들의 조달 여건이 나빠진다. 12~18개월 뒤에는 일본·아태 리전 기반 추론 API 가격이 내려올 수도 있다. 하지만 그건 나중 이야기다. 공급 측 변화를 기다리는 동안, 수요 측에서 할 수 있는 최적화를 먼저 해야 한다.

우리 팀 기준, 토큰 비용이 실제로 얼마 나가는가

수치를 직접 뽑아봤다. 우리 팀은 현재 12개 봇이 일 평균 20건 내외 본문을 생성한다. 대부분 Claude Haiku를 쓰는데, 건당 출력 토큰은 평균 3,500~4,000 정도다. Haiku 출력 기준 약 $4/MTok이니, 하루 20건 × 3,750 토큰 = 75,000 토큰. 월로 환산하면 약 225만 토큰이고, 출력 비용만 따지면 $9 수준이다.

여기에 검수 루프가 붙으면 이야기가 달라진다. 발행 후보마다 Claude Sonnet으로 검수를 돌리면 Haiku 대비 510배 비싸다. 모든 본문을 Sonnet 검수에 태우면 같은 건수에서 월 $50$80까지 뛰는 건 금방이다.

거기에 재생성 로직이 더해진다. 본문 1,500자 미달 시 1회 재생성 게이트를 코드로 박아 놓았는데, 봇마다 재생성률을 로그로 뽑아보니 편차가 컸다. 어떤 봇은 5%, 어떤 봇은 35%였다. 재생성률 35% 봇은 사실상 Haiku를 1.35배 호출하고 있었던 셈이다. 원인을 파보니 프롬프트 문제였다 — "2000자 이상 써라"는 지시 한 줄이 빠져 있었다. 프롬프트를 10분 손보니 재생성률이 8%로 떨어졌다. 비용 문제로 보이던 것이 사실은 품질 관리 문제였다. 서버를 업그레이드하기 전에 프롬프트를 먼저 들여다봐야 하는 이유다.

"경계선 지능에게 축복"이라는 말이 가진 비용

커뮤니티에서 한때 돌아다닌 표현이 있다. AI가 경계선 지능에게 축복이라는 말. 평범한 사람이 AI를 활용해 전문가급 결과물을 낸다는 얘기인데, 작은 팀이 대기업 인프라 없이 콘텐츠를 자동 생성하는 우리 구조도 그 연장이다. 5명이 12개 봇을 돌리며 매일 수십 건 발행하는 건, 10년 전엔 편집팀 30명 체제에서나 가능했던 규모다.

문제는 그 축복이 GPU 시장 구조에 묶인 유지 비용을 수반한다는 것이다. 젠슨 황이 도쿄에서 조 단위 계약을 맺을 때, 그 계약이 결국 클라우드 API 단가를 통해 우리 청구서에 간접 반영된다. 직접적이지 않지만 느리게, 확실하게. 소규모 팀이 이 구조에서 쓸 수 있는 레버는 결국 수요 측 최적화뿐이다.

모델 티어링과 배치 전략: 실제로 어떻게 구성할까

가장 효과 대비 비용이 낮은 방법은 모델 호출 구조를 재설계하는 것이다. 우리 현재 구조는 Haiku(생성) / Sonnet(검수) 2단인데, 중간에 Haiku 기반 자가 점검 단계를 하나 더 끼워 넣으면 달라진다. Haiku로 생성 → Haiku로 1차 의심 케이스 필터링(재생성 여부, 길이, 키워드 밀도 기준) → 의심 케이스만 Sonnet 검수. Haiku가 Sonnet 대비 10분의 1 가격이니, 중간 필터를 추가해 Sonnet 호출을 40~50% 줄이면 전체 비용이 구조적으로 내려간다.

입력 프롬프트 길이도 무시 못 한다. 시스템 프롬프트가 2,000 토큰이냐 600 토큰이냐는, 월 600회 호출 기준으로 84만 토큰 차이가 난다. 입력 단가가 출력보다 싸더라도 이 규모면 매달 $1~$2가 조용히 사라진다. 봇이 10개가 넘으면 그 합이 무시 못 할 금액이 된다.

배치 타이밍도 선택지가 된다. Anthropic Batch API를 쓰면 동일 모델 대비 최대 50% 저렴하다. 실시간 발행이 필요하지 않은 봇 — 새벽에 돌려서 오전에 결과가 나오면 되는 봇이라면 Batch API로 옮기는 게 맞다. 속도보다 비용이 중요한 워크로드에서 이 전환을 안 하고 있다면, 그냥 돈을 더 내고 있는 것이다.

지금 당장 실행할 수 있는 것 세 가지

GPU 공급망이 바뀌는 데 2년이 걸린다. 그 2년 동안 공급 측 변화를 기다리며 같은 비용을 낼 것인가, 아니면 수요 측을 최적화해서 지금부터 아낄 것인가.

재생성률 감사부터 시작한다. 이번 주 안에 각 봇의 로그에서 재생성 발생 횟수를 꺼내고, 20%를 넘는 봇의 프롬프트를 들여다봐라. 대부분 길이 지시 누락이나 형식 지시 불명확에서 온다. 프롬프트 수정 비용은 30분, 효과는 다음 실행 사이클부터 바로 나온다.

Sonnet 검수에 조건을 달아라. "1회 통과 + 자 수 기준 초과 + 재생성 없음" 세 조건을 모두 만족하는 본문은 검수 스킵을 검토하거나, 최소한 Sonnet 대신 Haiku 필터로 대체한다. Sonnet 호출 30% 감축이 현실적인 목표고, 청구서에서 바로 확인된다.

시스템 프롬프트를 1,000 토큰 이하로 압축한다. 봇별 시스템 프롬프트를 anthropic tokenizer로 재보고, 기준을 넘는 것은 반드시 손본다. 예시 문장을 지우고 핵심 지시만 남긴다. 봇 수가 많을수록 이 작업의 효과가 배가된다.

젠슨 황이 다음엔 어디를 갈지 주시하되, 지금 내 API 청구서부터 열어보는 것이 맞는 순서다.

원문: AI News & Artificial Intelligence | TechCrunch