AI 가 작성한 문서를 사람이 다시 손보는 시간 측정

AI 도구를 도입하면 문서 작성 시간이 크게 줄어든다는 말을 자주 듣는다. 우리도 그 말을 믿고 싶었다. 그래서 측정해봤다.

측정 방법

3주 동안 우리가 작성한 기술 문서 12건을 두 가지 방식으로 나눴다. 첫 번째는 처음부터 사람이 직접 쓴 것, 두 번째는 AI 초안을 사람이 검토·수정한 것. 각 문서의 소요 시간을 작업 시작부터 “팀 내 공유 가능” 상태까지로 정의하고, 작업자가 직접 기록했다.

결과

AI 초안이 유리한 경우: 구조가 정해진 문서. API 스펙, 환경 설정 가이드, 체크리스트처럼 형식이 고정된 것은 AI 초안이 평균 40% 빨랐다. 내용보다 구조를 잡는 데 시간이 드는 문서들이다.

AI 초안이 불리한 경우: 판단이 필요한 문서. “우리가 이 구조를 선택한 이유”, “트레이드오프 정리” 같은 내용은 AI 초안을 받은 뒤 오히려 더 오래 걸렸다. 틀린 방향으로 쓰인 초안을 고치는 것이 처음부터 쓰는 것보다 인지 비용이 높았다. 평균 20% 더 걸렸다.

거의 같은 경우: 사후 정리 문서. 회의 후 결정 사항 정리나 장애 회고처럼 재료가 이미 있는 문서는 어느 방식이든 비슷했다.

우리가 바꾼 것

AI 도구를 쓰되, 어떤 문서에 쓸지 구분하게 됐다. 형식 문서에는 적극 활용하고, 판단과 맥락이 중요한 문서는 초안을 AI에게 맡기지 않는다. “AI에게 맡기면 빠르다”는 말은 문서 종류를 명시하지 않으면 절반만 맞는 말이다.

측정의 한계

소수 샘플이고 작업자 집중도 차이가 통제되지 않았다. 같은 주제를 두 방식으로 반복 작성하지도 않았다. 그러니 이 결과는 경향을 보는 참고용이지, 통계적으로 유효한 실험이 아니다. 다만 방식을 구분하지 않고 “AI = 빠름”이라고 가정하는 것보다는 낫다.

— by slecs