AI 챗봇을 동료처럼 믿는 팀의 보안 맹점

위태커가 진짜 하려는 말

메러디스 위태커는 한 줄로 잘랐다. "이것들은 당신의 친구가 아닙니다. 의식 있는 존재도, 감각 있는 대화 상대도 아닙니다." Signal 대표로서 그녀가 이 말을 꺼낸 맥락은 단순한 철학적 경고가 아니다. 그녀가 오래 주목해온 것은 AI 친밀감이 만들어내는 정보 흐름의 왜곡이다.

사람은 친구에게 비밀을 털어놓는다. 친구처럼 느껴지는 인터페이스에도 그렇게 한다. GPT, Claude, Gemini. 이 챗봇들은 공감하고, 기억하고(혹은 기억하는 척하고), 맞장구를 친다. 경험이 자연스러울수록 우리는 더 많은 것을 꺼낸다. 시스템 아키텍처, 고객 데이터 패턴, 아직 공개되지 않은 코드, 내부 정책 문서. 개인이 쏟아내는 이 데이터가 어디로 가는지 대부분의 팀은 추적하지 않는다. 위태커가 경고하는 건 AI 자체가 아니라, 인터페이스의 따뜻함이 우리의 판단력을 무디게 한다는 사실이다.

'친구 같은 AI'가 만드는 데이터 구멍

2023년 삼성전자에서 이 현상이 명확하게 드러났다. 반도체 엔지니어들이 ChatGPT에 내부 소스코드를 붙여 넣어 디버깅을 요청했고, 그 코드가 OpenAI 학습 데이터로 흘러갈 수 있다는 사실이 뒤늦게 알려졌다. 삼성은 결국 사내 AI 툴 사용을 전면 제한했다. 대기업도 이랬다. 보안 전담 인력이 한 명도 없는 스타트업이라면 어떨까.

작은 팀일수록 이 리스크가 더 크다. 이유는 역설적이게도 속도 때문이다. 빠르게 움직이는 팀은 "일단 붙여넣고 물어본다"는 워크플로우가 굳어진다. Slack 스레드를 GPT에 복사해서 요약을 받고, 데이터베이스 스키마를 통째로 넣어 쿼리 최적화를 요청하고, 미배포 기능의 요구사항 문서를 맥락으로 제공한다. 매번 의도치 않게 회사 자산을 외부 서버로 보내는 행위다. OpenAI 무료·개인 플랜 기준으로 대화는 모델 개선에 활용될 수 있다. Enterprise 플랜에서 opt-out이 가능하지만, 팀원들이 각자 개인 계정으로 챗봇을 쓰고 있다면 그 설정은 조직이 통제할 수 없다. "우리 팀 다 개인 플랜인데요"라는 순간, 데이터 거버넌스는 이미 와해된 상태다.

벤더 리스크: 설계한 게 아니라 그냥 그렇게 된 것

위태커의 경고는 개인 프라이버시를 넘어 더 구조적인 문제를 건드린다. AI 챗봇은 '서비스'다. 계약 관계가 있고, 약관이 있고, 운영 정책이 있다. 그리고 그것은 바뀐다.

OpenAI는 2023년 GPT-4 API의 컨텍스트 윈도우를 조용히 변경했다. Anthropic은 특정 사용 사례에 대한 안전 정책을 업데이트하면서 기존에 잘 동작하던 프롬프트가 갑자기 거부되는 상황을 만들었다. 이 모든 변경에 사전 공지가 있었지만, 충분히 빠르게 대응할 수 없는 팀에게 그 공지는 의미 없다. 더 심각한 건 모델 자체의 행동 변화다. 같은 API를 쓰더라도 벤더가 모델을 업데이트하면 출력이 달라진다. 특정 프롬프트에서 특정 형식의 JSON을 기대하는 봇이라면, 모델 업데이트 이후 그 형식이 미묘하게 바뀌는 순간 파싱이 깨진다. 단위 테스트가 없거나 출력 검증이 느슨한 팀은 그날 새벽 3시에 알람을 받는다.

HEDVION처럼 여러 사이트에 걸쳐 AI 기반 콘텐츠 생성 봇을 운영하는 팀의 경우, 이 의존성은 단순한 개발 편의 수준이 아니다. 봇 전체가 단일 API 래퍼로 묶여 있다면, 해당 AI 서비스 장애 하나가 diet부터 funeral까지 12개 봇 발행을 동시에 멈춘다. 이게 우리가 실제로 운영하는 구조다. 단일 벤더 의존을 의식적으로 설계한 게 아니라, 빠르게 만들다 보니 그렇게 된 것. 이 차이가 중요하다 — 모르고 있었다는 게 리스크다.

규제는 이미 움직이고 있다, 조용하지 않게

EU AI Act는 2024년 발효돼 단계적으로 적용 중이다. 고위험 AI 시스템에 대한 투명성 요건, 데이터 거버넌스 의무, 인간 감독 요구사항이 점점 구체화되고 있다. 한국 역시 2023년 개정된 개인정보보호법이 자동화된 의사결정에 대한 정보주체의 이의 제기권을 명문화했다.

이게 작은 팀과 무슨 관계냐고 물을 수 있다. 관계가 있다. AI 도구로 콘텐츠를 생성해 발행하는 행위 자체가, 특정 조건 하에서 '자동화된 의사결정'으로 분류될 수 있다. 사용자가 우리 사이트의 글을 읽고 보험을 선택하거나, 정부 지원사업을 신청하거나, 다이어트 방법을 택한다면 — 그 글이 AI 생성임을 명시해야 한다는 요건이 구체화될 가능성이 있다. 이미 일부 국가에서 논의가 시작됐다. 벤더 약관도 여기에 얽힌다. Anthropic과 OpenAI 모두 "AI 생성 콘텐츠를 AI 생성임을 숨기고 유통하는 것"을 사용 정책으로 금지한다. 규제 당국이 개입하기 전에 벤더 약관 위반으로 먼저 계정이 정지될 수도 있다는 얘기다.

지금 당장 할 수 있는 것

추상적인 위험 목록은 도움이 안 된다. 구체적으로 정리하자.

AI 챗봇에 넣어선 안 되는 것의 목록을 지금 만들어라. 고객 이메일, 사용자 ID, 운영 서버 주소, API 키 패턴, 미공개 비즈니스 지표. 이 목록을 팀이 공유하는 노션 페이지 첫 줄에 붙여두는 것만으로도 체크포인트가 생긴다. 기억은 잊히지만 문서는 남는다. 팀원들이 AI 도구를 쓸 때는 개인 계정이 아닌 조직 차원의 API 키 하나로 집중시켜야 한다. claude_cli 같은 내부 래퍼를 이미 쓰고 있다면 그게 곧 통제의 단초다 — 팀원이 직접 벤더 계정을 쓰지 않고 내부 인프라를 통하게 하면 로깅과 감사가 가능해진다.

모델 출력 검증도 지금 점검해야 한다. 구조화된 출력(JSON, 특정 필드)을 기대하는 봇이 있다면 Pydantic 혹은 단순한 assertion으로 형식 검증을 추가하고, 실패 시 알람을 받아야 한다. 모델이 업데이트돼도 파싱이 깨지지 않는 방어선이다. 여기에 더해, 벤더 장애 시나리오를 한 번은 시뮬레이션해 보라. "지금 Anthropic API가 30분 다운되면 우리 봇 중 어디가 먼저 죽는가" — 이 질문에 답이 없다면 장애 대응 플레이북이 없는 것이다. 대안 벤더로의 폴백이 당장 무리더라도, 어떤 봇은 재시도 큐로 버티고 어떤 봇은 graceful degradation이 가능한지 구분해두면 충분히 시작이다.

경계를 설정하는 게 도구를 잘 쓰는 것이다

위태커의 발언을 다시 보면, 핵심은 "AI가 나쁘다"가 아니다. 인터페이스의 친밀감이 판단력을 흐린다는 것. 친구처럼 말하는 시스템에 우리는 경계를 낮추고, 경계가 낮아진 순간 보안 결정도 느슨해진다.

미래 코딩 인재를 양성하는 환경에서도 이 지점은 빠지지 않아야 한다. AI 툴 사용법만 가르치면 삼성 사례의 재판이 된다. 어디까지 넣어도 되는지, 어떤 서비스가 내 데이터를 어떻게 쓰는지를 함께 가르쳐야 한다. 작은 팀은 보안팀이 정책을 문서화하고 교육을 돌리는 프로세스가 없다. 한 사람이 챗봇에 시스템 설계를 물어보다가, 거기서 얻은 아이디어로 코드를 짜고, 그 코드가 운영 서버에 배포된다. 이 흐름 어디에서도 "내가 지금 외부 서버에 우리 정보를 넘겼다"는 인식이 개입하지 않는다. 위태커의 말을 직역하면 이렇다 — 이 도구들은 당신 편이 아니다. 그렇다고 적도 아니다. 그저 당신이 경계를 설정해야 하는 서비스다.

원문: AI News & Artificial Intelligence | TechCrunch