1. AI 도구에 대한 현실적 시각
AI가 문서화 분야에 광범위하게 도입되고 있지만, 과도한 홍보와 회의론이 공존하는 혼란스러운 상황임을 지적합니다.
단순한 코드 변환, 정규식 생성 등 ‘작고 명확한’ 기술 작업에는 AI가 이미 유용하게 쓰이고 있으나, 여전히 ‘환각(hallucination)’ 문제 등 한계가 존재함을 강조합니다.
2. AI로 문서를 ‘작성’하는 것의 한계
AI를 단순히 문서 초안 작성이나 카피 에디팅에 쓰는 것은 기존의 스타일 린팅, 규칙 적용과 큰 차별점이 없다고 평가합니다.
오히려 테크니컬 라이터가 ‘즐기는 일’과 ‘자동화로 시간을 절약할 수 있는 일’을 구분해, AI는 반복적이고 비핵심적인 작업에 집중적으로 활용하는 것이 바람직하다고 조언합니다.
3. 진짜 혁신: RAG 기반 챗봇과 AI 검색
발표의 핵심은 ‘Retrieval Augmented Generation(RAG)’ 기반 AI 챗봇의 도입 사례입니다.
Temporal은 kapa라는 AI 챗봇을 도입해, 사내 문서·커뮤니티 포럼·Slack·GitHub 등 다양한 출처의 정보를 통합 검색·응답하도록 구성함(이 부분은 발표자 이야기로는 kapa가 잘하는 것이라고 합니다. 다른 RAG 서비스에서도 문서를 파싱하고 처리하는 것은 잘하지만 커뮤니티나 다른 사이트의 리소스를 통합해서 처리하는 것은 또 다른 문제입니다. 문서처럼 정제된 콘텐츠도 아니니깐요. 그런데 kapa는 이걸 적절히 잘해나간다고 합니다).
(그리고 답변에 포함된 리소스의 비중도 확인해볼 수 있습니다. 보통 채팅 과정에서 답변에 대한 출처 링크를 제공하는데, 대시보드에서는 그 비율을 확인할 수 있나 보네요).
사용자는 챗봇을 통해 질문을 하면, AI가 관련 문서와 커뮤니티 답변 등에서 직접 인용(citation)하며 답변을 제공합니다.
kapa는 ‘불확실한 답변’일 경우 이를 명확히 표시해 사용자 신뢰를 높이고, 실제 답변의 10% 미만만이 불확실로 표시됨(사용자에게도 채팅 중에 불확실한 답변이라고 알려주고 다른 정보를 더 찾아보라고 한다고 합니다. 아래 대시보드에서 774로 표시된 부분이 불확실한 답변입니다. 약 6% 정도인데 특정 기간으로 검색해서 그런 것 같구요. 대략적으로 10% 미만이라고 설명한 것이 아닌가 싶습니다).
4. AI 챗봇 도입의 실질적 효과
다양한 출처(문서, 포럼, Slack, LMS, GitHub 등)에서 정보를 통합해 답변함으로써, 기존 검색보다 더 풍부하고 맥락 있는 정보를 제공.
AI 챗봇의 대화 로그와 ‘불확실’ 플래그는 문서팀이 실제로 부족한 콘텐츠, 오해가 많은 부분을 파악해 문서를 개선하는 피드백 루프로 활용됨(사용자가 질문한 내용을 그룹으로 묶어서 어떤 내용에 관심이 많은지 확인할 수 있게 해줍니다. 일반적인 문서 도구에서는 검색 키워드 정도만 제공되는데 채팅 환경에서는 사용자가 구체적으로 더 많은 질문을 하게 되니 사용자가 진짜 어려워하는 부분을 좀 더 자세하게 확인할 수 있습니다).
챗봇이 답변을 못 하거나 불확실할 때, 그 대화 데이터를 바탕으로 Jira 티켓을 생성해 문서 보완 작업을 진행(이 부분은 발표자가 상당히 만족스러워하는 부분인데, 앞에서 10% 미만의 불확실한 답변에 대해 바로 티켓을 생성할 수 있다고 합니다. 티켓을 생성하는 작업 자체를 줄여줄 수 있고 구체적으로 어떤 부분을 보완해야 하는지 이미 요구사항이 작성되어 있는 상태라서 바로 작업을 할 수 있습니다. 발표자가 속한 팀에서는 일정 시간 시간을 내어 대응을 한다고 하네요).
5. 문서팀, 지원, 커뮤니티의 통합
AI 챗봇은 단순한 문서 검색을 넘어, 지원팀과 커뮤니티에서 생성된 콘텐츠까지 통합해 사용자 접근성을 높임.
Slack, 포럼 등 커뮤니티 데이터는 적극적으로 수집하되, 개인정보·내부 정보 보호를 위해 외부 커뮤니티 채널만 활용.
6. AI 도구 도입 시 원칙과 교훈
AI 답변은 항상 ‘출처’를 명확히 표기해야 하며, 사용자가 원문으로 쉽게 이동할 수 있어야 함.
AI 챗봇을 위해 문서 구조를 인위적으로 단순화할 필요는 없으며, 오히려 AI가 다양한 구조를 소화해야 함.
챗봇의 불확실 답변, 대화 로그 등은 문서 품질 개선의 실질적 데이터로 적극 활용할 것.
결론 및 메시지
AI는 단순히 ‘문서를 대신 써주는’ 도구가 아니라, 문서팀·지원팀·커뮤니티의 지식 자산을 통합하고, 사용자 경험을 혁신적으로 개선하는 도구로 자리 잡고 있음.
AI 챗봇의 도입은 문서팀에 실질적 피드백 루프와 데이터 기반 개선 기회를 제공하며, 접근성·신뢰성·효율성 모두를 높일 수 있음.
중요한 것은 ‘좋은 AI 도구’의 기준(출처 명확성, 불확실성 표기, 다양한 데이터 통합 등)을 명확히 알고, 조직에 맞는 솔루션을 적극적으로 도입·활용하는 것임
* 중간에 윌리엄 버틀러 예이츠의 시 'The Second Coming'를 인용하면서 관객들과 즐거워하는 부분이 있는데, 아마도 비극적이고 무거운 분위기의 시를 가지고 뭔가 과장되게 설명하는 것이 익숙한 모양입니다. 시의 구절마다 느끼는 감정들이 있는데 그 부분을 가리키며 "요즘 AI에 대해 이런 기분을 느끼고 있으시죠?" 이런 식의 농담을 하는 모양입니다.
* kapa에서 제공하는 아래 문서도 참고하세요.
2025.06.11 - [그냥 번역] - AI를 위한 문서 작성: 베스트 프랙티스
8 AI Tooling Is Better - Alex Garnett
www.flickr.com
https://youtu.be/6p6LttjaSNM?si=qP6GL2lYYhTz5tmq
