오픈소스 LLM 을 우리는 왜 안 쓰는가

“오픈소스 LLM 써보는 거 어때요?” 이 질문을 팀 안팎에서 여러 번 받았다. 데이터 보안, 비용, 커스터마이징 자유도 — 오픈소스 LLM 을 쓰고 싶은 이유는 충분히 이해한다. 그런데 우리 팀은 아직 클로즈드 API 를 쓰고 있다. 왜 그런지 솔직하게 이야기한다.

운영 비용의 현실

가장 직접적인 이유는 운영 비용이다. 오픈소스 모델을 쓰려면 GPU 인스턴스를 직접 관리해야 한다. 모델 크기에 따라 다르지만, 쓸 만한 품질의 모델을 24시간 서빙하려면 클라우드 GPU 비용이 만만치 않다.

반면 클로즈드 API 는 사용한 만큼만 낸다. 트래픽이 적으면 비용도 적다. 셋이서 운영하는 팀 규모에서 GPU 서버를 상시 운영하는 것은 고정비 관점에서 현재 단계에 맞지 않는다.

“인프라를 줄이는 것이 작은 팀의 경쟁력이다.”

팀 안에서 반복해서 나오는 원칙이다. 관리해야 할 것이 늘어날수록 우리가 집중해야 할 곳에 쓸 수 있는 에너지가 줄어든다.

품질 격차가 아직 있다

솔직히 말하면 현재 오픈소스 모델들이 클로즈드 최상위 모델과 품질 격차가 줄어든 것은 사실이다. 특정 태스크에서는 대등하거나 더 나은 경우도 있다.

하지만 우리가 주로 쓰는 영역 — 긴 맥락 이해, 복잡한 추론, 코드 생성 — 에서는 아직 체감 차이가 있다. 이 차이가 비용 절감보다 중요한 상황에서 오픈소스로 전환하는 것은 지금 시점에선 트레이드오프가 맞지 않는다.

파인튜닝 비용이 생각보다 크다

“오픈소스면 우리 도메인에 맞게 파인튜닝할 수 있잖아요”라는 기대도 있다. 실제로 해보지는 않았지만, 파인튜닝을 제대로 하려면 학습 데이터 정제, 학습 실행, 평가, 배포 파이프라인을 전부 갖춰야 한다. 이 과정이 처음 한 번으로 끝나지 않는다 — 모델이 업데이트되거나 도메인이 바뀔 때마다 반복된다.

프롬프트 엔지니어링으로 클로즈드 모델에서 원하는 동작을 얻는 것이 현재 단계에서는 훨씬 가벼운 선택이다.

언제 다시 생각해볼 것인가

조건이 달라지면 판단도 달라진다. 데이터를 외부에 보내기 어려운 규제 요건이 생기거나, 호출량이 폭발적으로 늘어서 API 비용이 GPU 비용을 역전하는 시점이 오면 그때 다시 검토한다. 지금 안 쓰는 것이 영원히 안 쓰겠다는 뜻은 아니다.

오픈소스 LLM 생태계는 빠르게 성숙하고 있다. 우리가 다시 이 글을 쓸 시점이 생각보다 빨리 올 수도 있다.

— by slecs