AI 팩토리가 작아질수록 제품 결정이 커진다

AI 인프라 비용이 계속 내려간다는 건, 작년에 "비용이 너무 커서"라고 기각했던 기능을 다시 꺼낼 수 있다는 뜻이다. 그런데 그 기회를 잘못 잡으면 제품에 의미 없는 AI를 쌓다가 사용자 경험을 조용히 망친다. 그 균형을 잡는 판단이 지금 제일 어렵다.

Crusoe가 이번에 39억 달러, 약 5조 2천억 원을 조달했다. 기업가치는 308억 달러. 단순한 대형 데이터센터 확장이 아니라 '소형 모듈형 AI 팩토리'를 함께 짓겠다는 게 핵심이다. 컨테이너 규모의 자체 냉각·전력 유닛을 재생에너지 발전 부지나 남는 전력 그리드 근처에 빠르게 설치하는 방식이다. Crusoe가 원래 폐가스 연소 전력으로 비트코인 채굴을 하던 회사라는 배경을 알면 이 선택이 자연스럽게 읽힌다.

우리가 데이터센터를 짓는 것도 아니고 GPU를 사는 것도 아닌데, 이 뉴스가 왜 제품 결정과 연결되는지를 먼저 짚어야 한다.

인프라 공급이 늘면 API 가격이 내려간다 — 그 속도가 문제다

공급과 가격의 관계는 단순하다. 그런데 AI 인프라 시장에서 그 속도가 직관보다 훨씬 빠르다.

2023년 초, GPT-4 API는 입력 1M 토큰당 약 60달러였다. 지금 Claude Haiku는 0.25달러, Gemini Flash는 0.10달러 수준이다. 2년 사이 200~600배 가까이 내려왔다. Crusoe 같은 전용 AI 인프라 플레이어가 공급을 계속 늘리면, 하이퍼스케일러가 독점하던 시장에 가격 압력이 생기고 이 추세는 더 빨라진다.

제품 결정과 연결되는 지점이 여기다. 우리가 작년에 "API 비용이 너무 커서"라고 기각한 기능들이 지금은 경제적으로 가능해졌을 수 있다. 이건 가정이 아니라 이미 일어난 일이다. 그 목록을 다시 꺼내볼 이유가 생겼다.

'소형 모듈형'이라는 개념을 제품 파이프라인으로 가져오면

Crusoe가 거대한 단일 데이터센터 대신 소형 유닛을 분산 배치하는 이유는 하나다. 유연하고, 교체 가능하고, 특정 에너지원이나 위치에 종속되지 않기 위해서다.

제품 파이프라인도 같은 원리로 생각할 수 있다.

우리 콘텐츠 봇들을 처음 설계할 때, LLM 하나에 거의 모든 걸 던졌다. 크롤링한 정보와 함께 "이걸로 좋은 글 써줘"를 시키는 방식. 단순하고 빨랐다. 그런데 가장 많이 깨진 건 LLM 부분이 아니라 그 앞단이었다. 무슨 주제를 골라야 하는가, 이 글이 실제 독자에게 쓸모 있는가. LLM은 멀쩡한데 파이프라인 전체가 이상해 보이는 상황이 반복됐다.

지금은 단계를 쪼갰다. 주제 선별, 초안 생성, 검수, 발행이 각자 독립된 모듈로 동작한다. 단순 생성엔 Haiku, 품질 판단이 필요한 검수엔 Sonnet을 쓴다. 새 모델이 나와도 전체를 바꾸지 않아도 된다. 문제가 생긴 단계만 교체하면 된다. 사용자 입장에서도 안정적이다. 특정 단계가 이상해지면 그 부분만 끄고 나머지는 계속 돌아간다.

Crusoe가 에너지원과 컴퓨팅 유닛을 분리하는 논리와 구조가 같다.

AI 개발 속도 조절 — 할 수 있을 때 일부러 천천히 가는 이유

인프라 비용이 내려갈수록, 역설적으로 제품 결정에서 속도 조절이 더 중요해진다.

새 모델이 나올 때마다 즉각 교체하려는 압력이 생긴다. "성능이 30% 올랐대"라는 벤치마크를 보면 반응하고 싶다. 직접 겪어본 패턴인데, 특정 파이프라인을 한 모델로 만들었다가 세 달 만에 더 싸고 빠른 모델로 교체한 적이 있다. 사용자가 느끼는 차이는 거의 없었고, 내부 코드만 두 번 열었다.

모든 걸 붙일 수 있게 되면, 무엇을 붙이지 않을지 선택하는 판단이 제품의 품질을 가른다. 기술이 풍요로워질수록 제품 결정의 기준은 "할 수 있느냐"에서 "해야 하느냐"로 이동해야 한다. 그렇지 않으면 AI 기능이 늘어날수록 제품이 복잡해 보이기만 한다.

싼 AI가 만드는 의외의 함정

AI 기능이 공짜처럼 느껴지면 남용이 생긴다. 사용자가 나쁜 의도를 갖지 않아도 일어나는 일이다.

요금을 매기지 않은 AI 요약 기능에서 일부 사용자가 하루에 수백 건을 요청하는 패턴이 나온 사례가 있다. 실제로 읽은 건 몇 개뿐이었다. API 비용은 쌓이는데, 그 호출이 사용자에게 실질적인 가치를 만드는지는 불분명했다. 기능이 원래 의도대로 쓰이지 않고 있다는 신호다.

인프라 비용이 내려갈수록 이 물음을 더 날카롭게 해야 한다. "이 기능을 넣으면 비용이 감당되나"에서 "이 기능이 사용자 행동을 원하는 방향으로 바꾸나"로. 질문이 바뀌지 않으면 저렴한 AI가 그냥 저렴한 잡음이 된다. 그리고 잡음이 쌓이면 사용자는 조용히 이탈한다.

지금 바로 써먹을 판단 기준 네 가지

첫째, 비용 때문에 보류했던 AI 기능 목록을 분기마다 재검토하라. 기각 사유가 "API 비용"이었다면, 지금 같은 모델로 재계산해보라. 단, 비용이 됐다고 자동으로 넣지는 않는다. "이 기능이 사용자 행동에 어떤 변화를 만드는가"를 먼저 물어야 한다. 비용이 장벽이 아니게 됐을 때 비로소 제품 판단 자체가 노출되기 때문이다.

둘째, AI 파이프라인을 하나로 묶어뒀다면 단계를 쪼개라. 모델 교체나 특정 단계 이상이 전체 파이프라인을 건드리지 않도록. 추상화 포인트를 하나 두는 것만으로도 다음 모델 교체 비용이 크게 줄어든다.

셋째, 새 모델이 나왔을 때 즉각 교체 대신 3개월 단위 평가 루틴을 만들어라. 사용자가 체감할 수 있는 차이가 없다면 교체는 비용이지 개선이 아니다. AI 개발 속도 조절은 게으름이 아니라 설계 선택이다.

넷째, 사용자당 AI 기능 호출 횟수를 추적하라. 비용이 싸도 상관없다는 생각이 들더라도. 이상 패턴이 보이면 그 기능이 제대로 된 맥락에서 쓰이고 있지 않다는 신호다. 사용자 경험 문제를 가장 빨리 발견하는 방법 중 하나가 사용 패턴을 들여다보는 것이다.

Crusoe의 $3.9B는 AI 인프라 공급을 늘리는 투자다. 그 결과로 우리 제품 결정의 환경이 바뀐다. 무엇을 넣고 무엇을 뺄지, 얼마나 빨리 바꾸고 얼마나 오래 유지할지. 인프라가 풍요로워질수록 그 판단의 무게는 오히려 무거워진다.

원문: AI News & Artificial Intelligence | TechCrunch