AI The Docs 2024 - 대규모 문서를 LLM으로 다루는 방식

커피 전문점(스타벅스 같은)에서는 커피를 커스텀하게 만드는 방법이 17만 가지라고 합니다. 예를 들어 온도를 10의 점수로 부여하고 커피의 진하기를 10의 점수로 부여한다면 벌써 100가지 조합이 가능하죠. 그런 식으로 수십 가지의 측정할 수 있는 항목이 있고 그 조합이 17만 가지라고 합니다. 이런 커피 스토리를 가지고 LLM, RAG가 어떻게 동작하는지를 쉽게 설명해주고 있습니다. 머신 러닝 시절에는 기계한테 커피 만드는 방법을 학습시키는 방식으로 몇 가지의 커피를 만드는 방법을 배우게 하는 것이라면 LLM은 온갖 커피 레시피 관련 정보를 스스로 탐색하고 정리해서 수백 개의 커피 레시피를 만들고 변형시킬 수 있다는 점입니다.

그리고 실제적인 사용 사례로 시맨틱 검색으로 들어가는데, 여기부터는 갑자기 기술적인 이야기로 전환되네요. 물론 발표자의 조직(시스코)에서도 아직 여러 가지로 시도해보고 있는 중이라서 어떤 정답을 제시하지는 않습니다.

슬라이드에서는 3가지 사례를 언급합니다.

첫 번째는 시맨틱 검색입니다.

단순 키워드가 아니라 문맥 기반으로 콘텐츠를 검색하는 방식이라 기존 키워드 검색과 다르다고 할 수 있습니다. 시스코 개발자 센터에서 관리하는 문서, API는 200여가지이며, 문서뿐 아니라 웹페이지, 비디오, 블로그 등 다양한 소스의 콘텐츠가 있습니다. 이런 콘텐츠를 임베딩 벡터 데이터베이스로 변환해서 저장하고 이를 검색하는 방식이라고 합니다.

두 번째는 LLM 기반 요약, Q&A,챗봇, 문서 질의에 대한 내용입니다.

벡터 데이터베이스에 저장한 정보에 대해 사용자 질의를 받으면 벡터 검색을 통해 관련성이 높은 N개의 문서를 선택합니다. 그리고 해당 문서와 기존 대화 이력을 LLM에 전달해 가공한 후 응답을 생성한다고 합니다. 기존의 RAQ와 다르게 사용자와의 대화 이력을 계속 관리하고 이를 활용한다는 점이 인상적인 부분입니다.