AI 칩 4000억 시대, 작은 팀이 갖춰야 할 진짜 역량

헤지펀드가 AI 칩 스타트업 하나에 4천억을 베팅할 때, 작은 팀이 취해야 할 반응은 그 숫자에 압도되는 것이 아니다. 그 돈이 어디로 흘러가고, 그것이 우리 팀의 역량 구성을 어떻게 바꿔야 하는지를 읽는 것이다.

다만 함정이 있다. "AI 역량"이라는 말이 지금처럼 남발되는 시기에는, 정말 필요한 것과 그럴싸해 보이는 것 사이의 간격이 크다. 그 간격을 잘못 메우면 채용도, 내부 스킬 개발도 방향을 잃는다. 그 얘기를 먼저 하려 한다.

4천억이 칩에 가는 이유, 우리가 신경 써야 하는 이유

Situational Awareness는 논란이 많은 헤지펀드다. "embattled(곤경에 처한)" 상황에서도 Source Foundry라는 칩 스타트업에 4억 달러를 쏟아부었다. 압박받는 조직이 베팅을 멈추지 않는다는 건, 그 대상에 대한 확신이 그만큼 강하다는 뜻이다.

칩 스타트업 투자 붐은 TSMC 독점 구조에 균열을 내려는 움직임의 일환이다. Source Foundry 같은 곳들이 LLM 추론이나 에지 AI에 특화된 칩을 만들어내면, 중장기적으로 AI 컴퓨팅 비용은 내려간다. 클라우드가 처음 등장했을 때와 구조가 비슷하다. 서버를 직접 사야 했던 시절이 사라지고 나서야, 5명짜리 스타트업도 글로벌 인프라를 쓸 수 있게 됐다.

AI 칩이 진짜 인프라가 되면, 경쟁 우위는 칩 '위'로 올라간다. 우리 같은 팀이 직접 칩을 만들 일은 없다. 하지만 그 칩 위에서 돌아가는 모델을 얼마나 빠르게, 얼마나 효율적으로 사용하느냐가 팀의 역량을 가르는 기준이 된다.

"AI를 쓸 줄 안다"는 말의 함정

채용 공고에서 "AI 활용 역량 우대"라는 문구를 보면, 그 말이 실제로 무엇을 의미하는지 따져봐야 한다. 대부분은 모호하다. ChatGPT를 써봤다는 건지, 파이썬으로 API를 호출해봤다는 건지, 아니면 프롬프트 구조를 설계하고 파이프라인을 만들어봤다는 건지.

우리 팀 기준으로 말하자면, "AI를 쓸 줄 안다"의 실질적 의미는 이렇다. 어떤 태스크에 어떤 모델을 써야 하는지 판단하는 것. Haiku로 충분한 작업에 Sonnet을 쓰면 비용이 3~5배 뛴다. 반대로 Haiku로 검수까지 돌리려다 품질이 무너지면 재생성 비용이 그 이상을 까먹는다. 이 판단을 할 수 있는 사람이 AI를 실제로 "쓸 줄 아는" 사람이다.

LLM 결과물을 받아서 쓰는 게 아니라, 그 결과물이 실패했을 때 어디서 실패했는지 진단하고 프롬프트를 고치거나 파이프라인 구조를 바꾸는 능력. 이게 지금 작은 팀이 가장 절박하게 필요로 하는 역량이다.

채용할 것인가, 키울 것인가 — 구체적인 트레이드오프

칩 투자 붐이 계속되고 AI 컴퓨팅이 더 싸지는 방향으로 시장이 움직이면, AI 관련 인재 시장도 양극화된다. ML 연구자나 모델 트레이닝 전문가의 몸값은 계속 올라간다. 동시에 "AI를 잘 다루는 제너럴리스트"의 가치도 빠르게 오른다.

5인 미만 팀에서 전자를 채용하는 건 비현실적이다. 연봉만 해도 억 단위를 훌쩍 넘기고, 실제 태스크와 전문성이 맞지 않을 가능성도 크다. 우리가 직접 모델을 훈련시킬 일은 거의 없다. AI한테서 일 처리를 받아내는 구조를 설계하는 게 실제 업무다.

그렇다면 키우는 쪽이다. 기존 팀원이 AI 시스템 설계 능력을 쌓도록 환경을 만드는 게 훨씬 현실적이다. 여기서 "환경"이 중요하다. "AI 공부해봐"가 아니라, 실제 프로덕션 파이프라인을 직접 만지게 하는 것. 봇 하나를 처음부터 끝까지 셋업하고, 실패를 수습하고, 비용을 계산해보는 경험이 강의 20시간보다 빠르다.

다만 한 가지 함정이 있다. "키우면 떠난다"는 걱정이다. 솔직히 맞는 말이다. 역량이 쌓인 사람은 더 좋은 조건을 찾아 이동한다. 그걸 막을 수 있는 유일한 방법은, 팀 내에서 하는 일이 시장에서 쌓을 수 없는 실전 경험이 되게 만드는 것이다. 작은 팀의 장점 중 하나는 한 사람이 인프라부터 프롬프트까지 전부 건드릴 수 있다는 점이다. 대기업에서는 그게 불가능하다.

HEDVION이라면 어떻게 접근할까

우리 팀이 실제로 직면한 구조를 예로 들면 이렇다. 콘텐츠 봇 12개가 매일 돌아가고, 각각 LLM을 호출한다. 모델 선택, 프롬프트 설계, 실패 감지, 비용 최적화가 모두 코드로 박혀 있다. 이 시스템을 운영하면서 "AI 역량"이 무엇인지 꽤 선명하게 정의가 됐다.

첫째는 AI 결과물의 품질을 코드로 강제하는 능력이다. 프롬프트에 "1500자 이상 써줘"라고 부탁하는 게 아니라, 1500자 미만이 나오면 재생성을 트리거하는 게이트를 코드로 짜는 것. 이건 프롬프트 스킬이 아니라 시스템 설계 스킬이다.

둘째는 비용 단위로 생각하는 습관이다. Sonnet으로 검수 1회 돌리는 비용이 Haiku로 본문 생성 5회 하는 비용과 비슷하다. 이 계산이 머릿속에 있어야 파이프라인 구조를 결정할 수 있다.

셋째는 실패 모드를 예측하는 경험이다. DB 연결이 LLM 호출 중간에 끊기거나, 생성된 글이 특정 패턴에서 반복적으로 검수를 통과 못 하거나. 처음엔 프롬프트 문제인 줄 알았는데 알고 보니 재시도 로직이 빠진 것이었던 경우가 꽤 있었다. 직접 운영해본 경험이 없으면 이 실패들이 어디서 오는지 진단조차 못 한다.

새로 뽑거나 팀원을 키울 때 이 세 가지를 기준으로 삼으면, "AI 역량"이라는 말이 한결 구체적으로 변한다.

지금 바로 적용할 수 있는 것들

모델 비용 감사를 먼저 해라. 지금 팀에서 LLM을 쓰고 있다면, 어떤 태스크에 어떤 모델을 쓰는지, 그 조합이 최적인지 한 번 따져봐라. 간단한 분류나 단문 생성에 고가 모델을 쓰는 경우가 생각보다 많다. 이 감사를 직접 해본 사람이 AI 비용 구조를 실제로 이해하는 사람이다.

팀원 역량을 키우려면 강의 링크를 보내는 것보다 프로덕션 환경에서 실제 문제를 만지게 하는 것이 빠르다. 실패해도 되는 낮은 위험도 봇 하나가 좋은 출발점이 된다. 셋업부터 에러 수습, 비용 확인까지 전 과정을 한 사람이 담당하게 해라.

AI 결과물 검증 로직을 코드로 박아라. 지금 팀에서 AI 출력을 "믿고" 그냥 쓰고 있다면, 그 신뢰는 언젠가 사고로 연결된다. 길이 게이트, 금칙어 검사, 패턴 검증 등 최소한의 가드를 코드로 강제하는 습관이 AI 시스템을 운영하는 팀의 기본이다.

칩에 4천억이 몰린다는 뉴스를 "우리랑 상관없는 얘기"라고 넘기기 쉽다. 하지만 인프라가 싸지면 그 위에서의 경쟁이 격해진다. 작은 팀이 살아남는 방법은 칩이 아니라, 칩 위에서 일하는 방식을 먼저 갖추는 것이다.

원문: AI News & Artificial Intelligence | TechCrunch