2024년 행사에서도 자주 언급된 기업이죠. kapa.ai 공동 창업자인 Emil Soerensen의 발표입니다. 창업을 하기 전에는 매킨지에서 컨설턴트, 매니저로 일했고 바로 창업을 했네요. 학부는 경영학, 경제학 쪽인데 석사를 컴퓨터 공학으로 받았습니다. 아마 이때부터 창업을 준비한 것이 아닌가 싶네요.
발표는 3가지로 설명합니다. LLM 개요와 기술 문서에서 LLM을 어떻게 활용하는지, Q&A 순서입니다. LLM을 설명한다고 하지만 아무래도 제품을 설명하지 않을 수 없다 보니 전반적으로 kapa.ai 중심으로 설명이 진행됩니다.
LLM에 대한 설명은 실제로 kapa.ai가 어떻게 동작하는지를 가지고 설명합니다.
1. Connect technical knowledge sources
일반적으로 문서에 붙이는 플러그인 형식의 AI 도구는 문서에만 포커스를 맞추고 있습니다. 하지만 kapa.ai는 소스코드, 커밋, 커뮤니티, 동영상 등 다양한 리소스를 연결해 정보를 통합할 수 있도록 지원합니다.
2. Deploy LLM on your docs or in community
이것 역시 일반적인 경우에는 문서의 검색 기능을 대체하는데, kapa.ai에서는 슬랙이나 디스코드 등 커뮤니티를 지원한다고 합니다. 아마도 커뮤니티 내 질의응답에 참여하는 형식이 아닌가 싶네요. 이런 활동은 다시 1번으로 돌아가 사용자의 질의를 정보로 추가하고 확대할 수 있는 기능을 제공할 겁니다.
3. Get product insights & improve documentation
이건 이전 발표에서도 많이 언급된 부분입니다. 실제 도움이 된다는 간증이 많이 나오는 부분이죠.
문서를 LLM에 최적화시키는 5가지 방법을 제시합니다.
Writing documentation for AI: best practices 라는 글에서 언급한 내용과 일부는 비슷한데 다른 이야기도 있네요.
https://docs.kapa.ai/improving/writing-best-practices
1. Embrace Page Structure and Hierarchy
계층적인 정보 구조는 기술 문서 작성에서 중요하게 강조되는 부분입니다. 사람이 보기 좋은 문서가 여전히 기계가 보기 좋은 문서라는 겁니다. 오히려 기계의 입장에서는 명확한 계층구조를 확인할 수 없다면 정보에 접근하기 어려울 수 있겠죠.
2. Segment Documentation by Sub Products
제품이 세부적으로 나누어지는 경우(기존과 다른 새로운 제품이 나오는 경우) 이를 명확하게 구분한 문서 형태로 제공하는 것이 좋다는 겁니다. 그렇지 않고 하나의 문서에 다 집어넣으면 LLM에서는 이를 명확하게 구분하지 못하고 사용자에게 잘못된(또는 오래된) 정보를 제공할 수 있습니다.
3. Include Troubleshooting FAQ Pages
당연한 이야기겠지만 서술적인 콘텐츠보다는 FAQ처럼 질문, 답변이 이어진 콘텐츠가 LLM에게 잘 적용이 된다고 합니다. 명확한 질문과 간결한 답변 형식이 좋다고 합니다. 실제 kapa.ai 서비스를 분석해 보면 FAQ를 소스로 하는 답변이 많은 부분을 차지한다고 합니다. 하지만 많은 기술 문서가 FAQ 정보를 제공하지 않고 있습니다.
4. Provide Self-contained Example Code Snippets
짧은 코드 조각이 문서 내에 포함되는 것이 정말 좋습니다. 대규모의 코드를 학습하는 것도 중요하지만 각 코드가 어떤 식으로 동작하는지 설명하는 문서와 같이 제공되는 코드는 탁월한 역량을 발휘합니다. 코드 조각 내에 주석을 포함하는 것도 잘 동작합니다.
5. Build a Community Forum
사용자가 LLM에 질문하는 형태는 커뮤니티에서 질문을 남기는 것과 매우 유사합니다. 때문에 문서에 없는 정보를 통합하는데 도움이 될 수 있습니다. 주의할 점은 커뮤니티 내에서 유용한 정보를 구분하기 위해 문제가 해결된 콘텐츠만 학습하도록 구분해야 한다는 겁니다.
발표 내용은 블로그에 정리해서 다시 올렸다고 합니다(발표보다는 좀 더 많은 내용이 담겨져 있네요).
Optimizing Technical Docs for LLMs
https://www.kapa.ai/blog/optimizing-technical-documentation-for-llms
Hacker News에 글이 공유가 되었는데 흥미로운 댓글을 볼 수 있었다고 하네요.
https://news.ycombinator.com/item?id=39618093
https://youtu.be/r6bfN69CF_0?si=lPkYTNKuONRJUeu1
