LLM의 간략한 역사와 현재 LLM의 제약(제한된 학습 데이터, 환각 현상)을 설명합니다. 이를 보완하기 위한 수단으로 RAG를 설명합니다.
RAG는 2가지 타입이 있습니다.
하나는 벡터 기반 RAG입니다. 유사성 검색을 지원하고 매우 빠르게 동작합니다. 그리고 대규모 문서도 잘 처리할 수 있습니다. 하지만 개념들의 관계를 놓칠 수 있습니다. 특히 긴 문서에서 전체적인 맥락을 잘못 이해할 수 있습니다. 그래서 벡타 기반 RAG를 사용하기 위해서는 문서에 대한 전처리 과정이 중요합니다.
또 하나는 그래프 기반 RAG입니다. 지식 그래프와 LLM을 결합해서 벡터 기반 RAG를 보완하는 방식입니다. 벡터 기반 RAG의 단점인 개념 간의 관계를 정의하고 있기 때문에 이를 명확하게 설명할 수 있습니다. 단점은 일단 지식 그래프를 생성해야 한다는 점입니다. 이를 위해 전문 지식이 필요하고 비용도 들어갈 수 있습니다. 또한 규모가 커질수록 처리 비용이 늘어납니다.
문서를 작성할 때도 LLM과 RAG를 고려해야 합니다. 컨텐츠가 의미 있는 단위로 잘라낼 수 있도록 준비해야 하고 적절한 메타데이터도 추가해주어야 합니다. 문서를 읽는 독자와 문서를 사용하는 시스템(LLM)에게 모두 이익이 되는 방향을 설정해야 합니다.
매니 실바가 일하고 있는 SkyFlow(민감한 정보를 다루는 LLM 서비스 기업입니다)에서는 VerbaGPT를 사용했다고 합니다. VerbaGPT라는 솔루션이 따로 있는데 이름만 같고 다른 기능을 언급하는 것으로 보입니다. 벡터 기반 RAG를 사용했고 민감한 데이터와 빠르게 업데이트되는 콘텐츠를 반영할 수 있게 만들었다고 합니다. 좀 더 자세한 설명은 아래 링크에서 확인할 수 있습니다.
https://www.skyflow.com/
https://aws.amazon.com/blogs/machine-learning/how-skyflow-creates-technical-content-in-days-using-amazon-bedrock/
하여간 VerbaGPT를 사용해서 문서 초안을 만드는 작업이 2주에서 2일로 줄어들었다고 합니다. 템플릿 기반으로 입력한 데이터에서 뭔가 초안을 알아서 만들어주는 방식인가 봅니다. 향후 계획은 지식 그래프 기반 RAG를 적용할 예정이며 이를 다룰 수 있는 도구도 제공한다고 하네요.
처음에는 RAG에 대한 기본적인 내용을 다룬다고 생각했는데 뒤로 가면서 자기 회사 솔루션을 설명하는 것이 되어 버려서 너무 기술적인 수준이 확 올라가버렸습니다.
짧은 설명만으로는 그래서 도대체 어떻게 한다는 건지 알 수가 없는데 간단한 시연 영상이 포함된 데모가 있네요(사실 이걸 봐도 ㅠㅠ).
[LIVE] Demo Dare: The Power of LLMs with Skyflow's VerbaGPT
https://www.youtube.com/live/7LN3_WL4-Hc?si=tJXSfdWKtlGl1ITz
* 원티드 LaaS 같은 경우에는 RAG라는 표현이 일반 사용자에게 아직 낯선 표현이라 "파일 검색"으로 바꾸었다고 합니다.
사용자 입장에서는 그냥 문서 파일을 업로드하고 질의를 하는 것이라 "파일 검색"이 좀 더 적절할 것 같기도 하구요.
https://youtu.be/THarEiHinmc?si=VZRbZDgRhbQx8geF
Rags to Riches
www.flickr.com
