AI The Docs 2024 행사에는 3개의 키노트가 있습니다. 보통 이런 세션은 유명한 강사가 맡거나 아니면 스폰서가 가져가게 됩니다. 이 행사에서는 컨퍼런스 주최 측인 Pronovix에서 첫 번째 키노트를 진행하고 점심시간 직후 키노트와 행사 마지막 순서 키노트를 진행합니다. 그런데 키노트라고 해서 뭔가 주제가 포괄적인 건 아니고 다른 세션과 큰 차이가 없는 것이 특징(?)이네요.
데이터가 어디에 어떤 식으로 저장되고 가공되고 활용되는지는 민감한 부분입니다. 때문에 각 국가에서는 데이터 처리를 규제하는 법안을 만들고 이를 지키도록 하고 있습니다.
예전에는 개인이 어떤 데이터를 입력한다고 할때 정해진 필드에 값을 입력합니다. 예를 들어 전화번호라고 한다면 전화번호 입력 필드가 있고 거기에 입력을 하면 전화번호로 관리가 되는 거죠. 하지만 ChatGPT 같은 도구를 보면 그냥 채팅창만 있고 내가 입력하는 정보가 어떤 정보인지 정해져 있지 않습니다. 민감한 개인 정보가 채팅창을 통해 입력될 수 있는데, 이런 데이터가 어떻게 관리되는지 알 수가 없다는 거죠.
예를 들어 ChatGPT를 서비스하는 OpenAI의 경우 GDPR 같은 규정을 지킨다고 하지만 서브 프로세서 목록을 보면 일부 서비스 데이터는 전세계로 전달되기도 합니다. OpenAI affiliate 같은 애매한 표현도 있구요(현재 시점에는 OpenAI affiliate에 대한 목록을 따로 제공합니다).
https://openai.com/policies/sub-processor-list/
그렇게 불안하다면 Azure OpenAI 같은 서비스를 이용할 수 있습니다. Azure에서는 OpenAI에 어떠한 데이터도 보내지 않는다고 하니깐요. 하지만, Azure의 경우에는 마이크로소프트에서 사용자가 입력한 데이터를 필터링하는 작업이 포함되어 있습니다. Hugging Face 역시 GDPR을 준수하지만 데이터가 어디로 흘러가는지 애매한 부분이 있습니다.
이런 문제를 회피할 수 있는 해결책은 자체 호스팅 LLM을 구축하는 것입니다....라면서 본인 회사의 서비스를 소개합니다.
https://www.amazee.io/ai-hosting
https://youtu.be/0qmvfPe2ue0?si=1j3T6sgRiErY0KZy
