OpenAI 2인자 교체, 소규모 팀 비용 구조가 흔들린다

Fidji Simo가 떠난 이유보다 중요한 신호

OpenAI의 실질적 2인자였던 Fidji Simo가 물러났다. 병가가 예상보다 길어졌고, 결국 복귀 대신 퇴사를 선택했다. TechCrunch 보도 기준으로 그는 Sam Altman 직속으로 기업 성장과 수익화를 전담하던 인물이었다.

대부분 이 뉴스를 "내부 정치" 혹은 "IPO 앞둔 불안" 정도로 읽는다. 그런데 우리 같은 소규모 팀 입장에서 더 날카로운 신호가 숨어 있다. Simo는 Instacart CEO 출신으로 기업 고객 영업과 수익화 설계 전문가였다. OpenAI가 그 포지션을 굳이 만들고, 그런 이력의 인물을 영입했다는 것 자체가 회사가 어디에 무게를 싣고 있는지를 말해준다. 그리고 그 무게가 이동할 때, 청구서는 늘 작은 팀 쪽으로 기운다.

단, 지금 당장 API 벤더를 바꾸는 게 정답은 아니다. 섣불리 전환했다가 파이프라인을 두 번 고치는 상황이 생긴다. 그보다 먼저 해야 할 일이 있다.

기업 시장으로 쏠리는 무게추

OpenAI는 지금 두 개의 압박을 동시에 받고 있다. 투자자가 요구하는 IPO 타임라인과, Anthropic에게 빠르게 잠식당하는 엔터프라이즈 시장이다.

Anthropic은 AWS Bedrock을 통해 글로벌 금융사부터 경상북도개발공사 같은 공공기관까지 기업 계약을 빠르게 늘리고 있다. OpenAI 입장에서는 이 흐름을 막아야 하는데, 2인자 공백까지 생겼다. 경쟁이 치열해질수록 AI 업체들은 대형 고객에게 볼륨 할인을 제공하고, 그 마진 손실을 어딘가에서 메운다. 대개 그 "어딘가"는 리테일 가격, 즉 작은 팀이 내는 API 요금이다.

클라우드 시장이 정확히 그랬다. AWS와 GCP가 대기업 프리미엄 계약을 쌓아갈수록 소규모 팀 친화적이던 가격 체계는 복잡해지고, 할인 구조는 볼륨 구간 뒤로 숨어들었다. AI API 시장이 이 경로를 따르지 않을 이유가 없다.

실제 수치로 보는 비용 격차

우리 팀은 콘텐츠 생성에 Claude Haiku를, 검수 판단에 Claude Sonnet을 쓰는 이중 구조를 운영한다. 직접 월별 호출량을 집계해 봤더니, 처음 예상보다 비용이 훨씬 낮게 나왔다. 무거운 생성은 Haiku로 몰고 Sonnet은 최종 판단에만 쓰는 구조 덕이었다.

반면 GPT-4o를 동일 파이프라인에 그대로 꽂으면 어떻게 될까. 현재 공개된 가격 기준으로 GPT-4o는 입력 약 $2.50/M 토큰, 출력 약 $10/M 토큰이다. Claude Haiku 계열이 입력 $0.80/M, 출력 $4/M 수준인 것과 비교하면 입력 약 3배, 출력 약 2.5배 차이가 난다. 하루 50건 규모에서는 체감이 작아 보여도, 월 1,500건 파이프라인으로 가면 누적 비용 차이가 수십만 원 단위로 벌어진다. 그 돈이면 서버 한 대를 더 굴리거나, 검수 루프 품질을 한 단계 올릴 수 있다.

리더십 공백이 남기는 진짜 리스크

Simo의 퇴사는 한 명이 빠지는 사건이 아니다. 그가 설계했을 가격 정책, 제품 로드맵, 파트너 계약 구조가 전부 미결로 남는다. 새 리더십은 투자자에게 더 설득력 있는 수익 구조를 보여야 하는데, 그 압박이 API 가격 재조정으로 이어질 가능성은 낮지 않다.

처음에는 이런 리더십 변화가 우리 같은 팀과 무관한 대기업 얘기라고 넘겼다. 그런데 OpenAI가 지난 2년간 여러 차례 모델 구조와 가격을 바꿀 때마다, 그 변화가 소규모 사용자에게 항상 유리한 방향은 아니었다. Rate Limit이 예고 없이 바뀌거나, 특정 모델이 deprecated 되면서 파이프라인을 통째로 다시 짜야 했던 경험이 있는 팀이라면 공감할 것이다. 벤더 한 곳에 깊이 묶여 있을수록 그 충격은 더 컸다.

우리 팀이 실제로 한 것들

지금 당장 벤더를 바꾸자는 얘기가 아니다. 현실적인 첫 번째 대응은 "비용 가시화"다.

우리 봇 파이프라인에서 모든 LLM 호출을 중앙 헬퍼 하나로 단일화해 둔 이유가 여기에 있다. 어디서 어떤 모델을 얼마나 쓰는지가 한 곳에서 집계된다. 덕분에 "Haiku면 충분한데 Sonnet이 붙어 있던" 호출을 발견해 수정하는 게 훨씬 쉬워졌다. 실제로 검수 루프에서 Sonnet 호출이 예상보다 많이 발생하고 있다는 걸 트래킹하다 잡아냈고, 사전 필터 하나를 추가해 명백히 짧거나 형식 오류인 글을 Haiku에서 먼저 걸러낸 뒤 Sonnet에 넘기도록 바꿨다. 비용이 눈에 띄게 줄었다.

벤더 다양화도 중요하지만 그보다 먼저, 지금 어떤 작업에 어떤 모델이 붙어 있는지를 코드 레벨에서 파악해야 한다. 그게 없으면 가격이 오를 때 어디서 얼마가 새는지 알 수가 없다.

지금 팀에서 바로 적용할 수 있는 것들

모델 호출을 추상 레이어로 감싸두는 것이 가장 먼저 할 일이다. SDK를 코드 곳곳에 직접 쓰면 벤더가 바뀔 때 파일을 수십 개 고쳐야 한다. 헬퍼 함수 하나에 모아두면 모델 이름 한 줄만 바꾸면 된다. 이건 개발 편의 문제가 아니라 비용 대응 속도의 문제다.

작업을 "무거운 판단"과 "가벼운 생성"으로 명확히 나누는 것도 비용 구조에 직접 영향을 준다. 기준은 단순하다. 오답이 치명적인 판단, 즉 검수·분류·정확성이 중요한 단계에는 강한 모델을 쓰고, 반복적인 초안 생성은 가볍고 빠른 모델로 처리한다.

월별 토큰 소비를 집계하는 로그도 지금 없다면 지금 만들어야 한다. 복잡한 대시보드가 아니어도 된다. 각 호출에 모델명과 입출력 토큰 수를 로깅하고, 주기적으로 합산하는 것만으로도 충분하다. 이 숫자가 없으면 가격 변동 전후 비교 자체가 불가능하다.

마지막으로, 지금 쓰는 모델의 대체재를 최소 하나는 미리 테스트해 두는 것이 좋다. Haiku가 갑자기 비싸진다면 다음 선택지가 무엇인지, 성능 격차가 어느 정도인지를 모르면 대응할 시간이 없다. 어떤 모델이든 미리 벤치마크 결과를 손에 쥐고 있어야 가격 변동 시 움직일 수 있다.

Simo의 퇴사는 결국 OpenAI가 대형 고객 중심으로 더 빠르게 재편될 것이라는 신호다. 그 재편이 소규모 팀에게 유리한 방향일 확률은 낮다. 지금이 비용 구조를 한 번 정직하게 들여다볼 적기다.

원문: AI News & Artificial Intelligence | TechCrunch