AMD Helios가 바꾸는 제품 기능의 생사

AMD가 Helios라는 랙스케일 AI 시스템으로 Nvidia에 정면 도전장을 내밀었다. 연말부터 고객 출하를 시작한다는 소식인데, 처음 봤을 때는 "대기업 GPU 전쟁이니 우리 팀이랑 무슨 상관"이라고 넘기려 했다. 그런데 잠깐 생각해보니 달랐다.

인프라 경쟁이 제품 결정을 바꾼다. 직접적으로.

Nvidia 독점이 우리 제품 결정에 지우는 짐

지금 AI API를 쓴다는 건 사실상 Nvidia 하드웨어 임대료를 간접 지불하는 것이다. Claude든 GPT든, 대부분의 추론 서버는 Nvidia H100이나 A100 클러스터 위에서 돌아간다. 클라우드 GPU 시장에서 Nvidia 점유율이 70~80%를 웃도는 상황에서 공급이 수요를 못 따라가면, 인퍼런스 가격이 내려갈 이유가 없다.

우리 팀이 체감하는 건 단순하다. 어떤 기능을 제품에 넣을지 결정할 때, API 호출 비용이 저울 한쪽에 항상 올라온다. "이 기능 넣으면 요청당 Sonnet 1회니까 한 달에 얼마지?" — 이 계산이 기능의 생사를 가른다. 기술 타당성이 아니라 비용 타당성이 먼저다.

기능 하나가 살고 죽는 건 몇 분의 1달러 차이

Claude Haiku 급 기준 추론 비용은 입출력 합쳐 약 $0.81/백만 토큰이다. Sonnet 급으로 올라가면 1020배. 콘텐츠 생성봇에서 Haiku를 기본으로 쓰고 Sonnet을 검수에만 쓰는 이유가 여기 있다. 기능 설계가 아니라 비용 설계다.

예를 들어, 발행된 글마다 독자 맞춤 요약을 실시간으로 생성하는 기능을 붙이려 한다고 치자. 페이지 뷰당 Haiku 호출 1회. 월 100만 PV 사이트라면 월 $800~1,000 추가. 이게 작은 팀에게 작은 숫자가 아니다. 그래서 그 기능은 로드맵 뒤로 밀린다.

AMD MI300X가 HBM 용량 192GB(H100의 2.4배)에서 앞선다는 건 이미 알려진 사실이다. 하지만 경쟁이 인퍼런스 가격에 실제로 반영되려면 클라우드 제공사들이 AMD 하드웨어를 배포해야 한다. Helios는 AMD가 단일 GPU 스펙 비교를 넘어, 랙 전체를 하나의 통합 플랫폼으로 묶겠다는 신호다. Nvidia DGX SuperPOD에 정면 맞붙는 구도다.

역사적으로 GPU 시장에 경쟁이 붙으면 클라우드 인퍼런스 가격은 618개월 안에 1030% 내려왔다. 2019~2021년 AMD가 데이터센터 GPU 시장에 재진입하면서 A100 스팟 가격이 출시 초기보다 빠르게 안정됐던 게 한 사례다.

가격이 30% 내려가면 제품에서 뭐가 달라지나

이게 실제로 물어봐야 할 질문이다.

추론 비용이 30~40% 내려간다면, 지금 "너무 비싸서 못 넣는" 기능들이 로드맵 앞으로 당겨진다. 실시간 콘텐츠 개인화, 검색 결과 내 AI 요약, 사용자 행동 기반 다음 글 추천 — 이런 것들이 현재 페이지 단위 API 호출 비용 때문에 홀딩돼 있다. 비용이 내려가면 타당성 계산 자체가 바뀐다.

품질 티어 결정도 달라진다. 지금은 "검수만 Sonnet, 나머지 Haiku"로 고정이지만, 가격이 내려가면 사용자 경험에 직결되는 경로는 Sonnet으로 올리는 걸 검토할 수 있다. 품질이 좋아지면 체류 시간이 늘고, 체류 시간이 길어지면 광고 노출도 따라온다.

자체 호스팅 선택지도 현실화된다. AMD 호환 오픈소스 추론 스택(ROCm + vLLM)이 성숙해지면, 특정 용도에 소형 모델을 직접 돌리는 게 API보다 싸질 수 있다. 계산을 직접 해봤는데, 지금은 월 고정 서버 비용이 API 절감분을 넘어서서 답이 안 나온다. AMD 경쟁이 클라우드 GPU 임대 단가를 낮추면 이 계산이 뒤집힐 수도 있다.

사용자한테는 어떻게 닿나

우리가 운영하는 콘텐츠 사이트들을 예로 들면, 지금 사용자는 AI가 생성한 글을 받지만 "이 글이 나한테 최적화됐다"는 느낌은 없다. 같은 글이 모든 방문자에게 나간다. 개인화를 붙이려면 사용자 세션당 추론 비용이 발생하는데, 지금 수익 모델 대비 단가가 맞지 않는다.

인퍼런스 비용이 반값이 된다면 달라진다. CPM $1~2 수준의 디스플레이 광고도 사용자당 AI 추론 비용을 커버할 수 있는 범위로 들어온다. 그 순간 "개인화 콘텐츠 → 체류 시간 증가 → 광고 노출 증가"라는 선순환이 단위경제 상 말이 된다. 지금은 아직 아니다. 하지만 인프라 경쟁의 방향은 그쪽이다.

지금 바로 쓸 수 있는 시사점

AMD Helios 소식을 보고 "우리는 GPU 안 사니까 패스"로 끝내면 손해다.

지금 해야 할 일은 "비용 때문에 보류해둔 AI 기능 목록"을 꺼내보는 것이다. 각 기능에 대해 "추론 비용이 몇 % 내려가면 타당해지는가"를 수치로 적어두면 된다. 35% 내려가면 가능한 기능, 50% 내려가야 가능한 기능 — 임계점 기준으로 분류해두면, 실제로 가격이 움직일 때 바로 집행할 수 있다. 그 타이밍에 "이제 뭐 하지?" 상태로 있으면 한 분기를 날린다.

Helios 출하가 연말이면, 클라우드 공급사들이 AMD 옵션을 추가하고 그게 API 가격에 반영되는 건 빨라야 2027년 상반기다. 6~12개월 시차가 있다. 준비는 지금 해야 한다.

추론 제공사를 단일화하지 않는 것도 지금 당장 쓸 수 있는 전략이다. Together.ai, Fireworks, Groq 같은 서드파티 추론 API들은 커스텀 하드웨어로 Nvidia 대비 30~50% 싼 가격을 이미 일부 구간에서 제공하고 있다. 검색 리랭킹, 태그 분류, 중요도 낮은 분류 파이프라인은 지금도 제공사 다변화로 비용을 줄일 수 있다. 핵심 품질 경로는 검증된 API로 두되, 보조 파이프라인은 분산해볼 만하다.

AI가 제품의 변수가 된 세상에서, 인프라 경쟁은 제품팀이 읽어야 할 뉴스다.

원문: AI News & Artificial Intelligence | TechCrunch