2018년에 챗봇을 개발했던 경험과 비교해서 최근의 기술이 얼마나 혁신적인지 이야기합니다. 기본적인 것은 AI가 처리해 주고 개발자들은 대화의 품질을 높이는 활동에 집중할 수 있습니다.
트렌드의 변화에 따라 문서를 개선하고 다시 작성해 주면 개발자 만족도는 높아질 수 있습니다. 규모가 작은 경우에는 가능한 일이겠지만, 규모가 큰 조직에서는 당연히 모든 문서를 다시 작성하는 것은 불가능한 일입니다.
RAG 시스템을 구현한다고 해서 한 번에 결과를 만드는 것은 아닙니다. 지속적으로 최적화 작업이 필요합니다. 다른 세션에서도 이야기했듯이 사용자의 질의를 분석한다는지 부족한 정보를 채우는 일은 여전히 사람의 몫입니다. 마스터 카드에서 어떤 도구를 사용하는지 모르겠지만 문서 시스템을 시각화해서 보여준 것이 인상적이었습니다. 시각화 자체가 중요한 것이 아니라 어느 정보가 어느 부분에 부족하고 몰려있는지 분석하고 개선할 수 있는 포인트를 찾는다는 점이죠. 앞에서 대규모 조직에서 모든 문서를 다시 작성할 수 없다고 이야기했지만, 이런 식의 세밀한 분석을 통해 부족한 부분을 채우거나 변경하는 것은 가능하다는 이야기입니다.
마스터카드 개발자 포털에서는 에이전트 툴킷을 제공하고 있습니다. 문서 내 챗봇을 운영하지는 않고 있네요. 대부분 개발자들이 포털 사이트보다는 IDE에서 더 많은 시간을 보내고 있으니 이 방법이 더 효과적일 수도 있겠네요. 또 하나 인상적인 것은 모든 문서에 대해 "llms-full.txt"를 제공하고 있습니다. 사람이 볼 수 있게 노출할 필요가 있는지는 모르겠으나...
https://developer.mastercard.com/platform/documentation/agent-toolkit/
https://developer.mastercard.com/platform/documentation/agent-toolkit/working-with-llmstxt/
https://youtu.be/ffRJ2mNyDlA?si=Z8fPu-iGHqlsxHm6
