Nick Gomez는 Inkeep의 공동 창업자입니다. MIT 출신으로 마이크로소프트를 거쳐 2023년에 창업을 했습니다. 아마도 이번 행사에 참여한 것은 솔루션 홍보를 위한 목적이겠지만, 세션 내내 제품 이야기를 할 수는 없으니 효과적인 RAG 구성을 위한 팁을 제시합니다.
- Hierarchy is important
이건 모든 이들이 강조하는 부분입니다. 적절한 헤더를 설정하고 계층적인 구조를 만들어야 합니다. 그리고 콘텐츠의 형태도 주제>질문>응답의 형태 또는 FAQ 형식으로 작성되어야 합니다. 이런 콘텐츠 형태는 요즘 자주 언급되긴 하는데 기술이 발전하면 필요 없다는 이야기가 나올 수도 있습니다(개인적으로는 특정한 정답을 가지고 있는 구조라면 굳이 LLM을 사용하는 것이 효과적일까 싶기도 하구요).
- Be nice to scrapers... avoid:
Monolithic pages: 한 페이지에 모든 데이터가 다 보이게 로딩하는 방식입니다. 사용자 입장에서는 페이지를 다 로드하면 내가 원하는 부분을 찾을 때 그냥 브라우저 찾기 기능을 사용하면 되니깐 무척 편한 방식입니다. 그래서 꽤 많은 인기를 끌었던 형식입니다. 하지만 페이지를 인덱싱하는 기계 입장에서는 좋지 않다고 합니다.
Client-side loaded content: 탭으로 구분해서 사용자가 클릭했을때 콘텐츠를 로딩하는 방식 역시 좋은 선택은 아닙니다.
LLM의 응답에서 흔히 볼 수 있는 문제들에 대해서도 이야기합니다.
- Hallucinations
많이 나오는 이야기죠.
- Conflations
실제 챗봇을 사용하면서 사용자가 불만을 가지는 부분이라고 합니다. 환각은 아닌데 사용자 질문의 맥락을 잘못 이해하고 잘못된 답변을 하는 케이스를 이야기하는 것 같습니다.
3분 정도 데모를 진행하는데 kapa.ai와 비슷하지만 상대적으로 부족한 느낌이네요. 대화 세션을 확인하고 리포트를 제공해 줍니다. Insights라는 메뉴에서 문서화에서 부족한 부분과 관련 대화 세션을 정리해 주는 기능은 흥미롭네요.
이렇게만 설명해서 Inkeep가 상당히 부족한 솔루션처럼 보이는데 Inkeep 웹사이트에 보이는 것처럼 "See Inkeep Agents for
your specific use case." 에이전트를 활용하는 기술에 초점을 맞춘 솔루션입니다. 문서 기반 RAQ 뿐 아니라 다양한 업무를 연결하고 자동화하는 것이 목적인 것이죠. 행사 취지에 맞추어 간단하게 설명을 하다 보니 상대적으로 그렇게 보였을 뿐입니다.
* GitBook에서 Inkeep을 설치하는 옵션이 있더라구요. GitBook은 자체적인 AI 도구를 제공하는데(아마 유료 옵션) 어떤 관계인지는 모르겠네요.
https://www.gitbook.com/integrations/inkeep
https://www.gitbook.com/solutions/ai
https://youtu.be/Uvzjiy8KPZo?si=E0V6-4hT0Jip32OS
