퍼블릭 vs 프라이빗: 기업 데이터 보안을 위한 LLM은?

 

퍼블릭 LLM 사용의 한계

최근 창작, 번역, 챗봇 등 다방면에 활용되고 있는 생성형 AI 서비스들은, 일반적으로 거대 언어 모델(Large Language Models, LLM)을 기반으로 합니다. LLM은 그 성능을 보장하기 위해 수십 억에서 수천 억 개의 매개변수를 가지며, 학습이나 추론에 고가의 전문 장비를 필요로 합니다.      

 

이러한 특성때문에, 전문 장비 및 인프라를 갖추지 못한 기업은 자체적으로 LLM을 구축하기 어려우므로 퍼블릭(public) 또는 개방형 LLM을 이용하여 생성형 AI 서비스를 구축해야 합니다. 퍼블릭 LLM은 주로 API 형태로 제공되며, 대표적으로 ChatGPT 모델을 개발한 OpenAI 사에서 ChatGPT 모델을 API로 이용할 수 있도록 제공하고 있습니다.

 

하지만 퍼블릭 LLM 사용에는 한계점이 있을 수 있는데, 첫 번째는 모델 수정의 한계입니다. API를 통해 사용하는 퍼블릭 LLM의 경우, 대부분 모델에 대한 직접적인 수정 작업을 지원하지 않습니다. 이 때문에 기업의 데이터를 모델에 직접 추가로 학습시키기 어렵고, 사용자가 모델의 세부 사항을 변경할 수 있는 범위에 한계가 존재합니다. 

 

두 번째는, 데이터 보안의 문제입니다. 사용자가 송신 및 수신하는 데이터는 모두 퍼블릭 LLM을 제공하는 서버에 저장될 수 있습니다. 퍼블릭 LLM을 제공하는 기업은 데이터 관리 정책이 존재하지만, 그럼에도 불구하고 퍼블릭 LLM의 시스템은 데이터를 사적으로 이용하거나, 유출할 수 있는 가능성을 제공합니다. 이러한 문제는 특히 데이터 보안이 중요한 기업에 치명적으로, 삼성이나 Amazon과 같은 기업은 기술 유출을 방지하기 위해 기업 망을 이용한 퍼블릭 LLM의 사용을 금지하고 있기도 합니다.

 

오픈소스 LLM의 등장

이러한 상황에서, Meta 사가 자체적으로 구축한 LLM인 LLaMA 모델을 오픈소스로 공개하면서  Mistral 등 많은 유명 AI 기업들도 자체 LLM을 오픈소스로 공개하기 시작했습니다. 이러한 시장 변화로, LLM을 직접 구축할 환경이 되지 않았던 개인이나 기업도 직접 LLM을 운영할 수 있게 되었습니다. 

사용자들은 Github나 Huggingface와 같은 사이트에서 LLM을 다운받아 사용할 수 있게 되었으며, 자신들의 데이터나 목적에 맞게 LLM을 미세조정(fine-tuning)하여 다시 배포할 수도 있게 되었습니다. 이러한 영향으로, 이제는 코드 작성에 특화된 모델, 특정 언어를 잘 이해하도록 조정된 모델 등 여러 LLM 모델을 다양한 목적에 맞게 선택해 사용할 수 있습니다. 

 

<그림 1. 주요 오픈소스 LLM 모델 (이미지 출처: Deci )>

 

경량화 LLM

오픈소스 LLM을 통해 사용자의 접근성이 높아졌다고 하더라도, LLM은 여전히 일반 사용자가 사용하기에는 큰 규모를 가지고 있습니다. 이를 위해, LLM의 성능을 최대한 유지하면서 LLM의 규모나 메모리 소모량을 줄이는 경량화 방법이 활발히 연구되고 있습니다. 이중 대표적인 두 가지 LLM 경량화 방법인 SLM과 양자화에 대해 간단히 알아보겠습니다.

 

SLM

SLM(Small Language Models) 또는 sLLM(smaller Large Language Models)는 단어 그대로는 작은 언어 모델이란 뜻이지만 실제로는 ‘작은 규모로 LLM에 가까운 성능을 내도록 설계되고 학습된 모델’이라는 의미에 가깝게 사용되고 있습니다. 그럼, 어떻게 작은 규모로 LLM에 가까운 성능을 낼 수 있을까요? 이를 위해, 가장 많이 이용되는 방법은, LLM로부터 생성한 데이터를 학습에 활용하는 것입니다. 방대한 양의 데이터를 거대 모델로 학습한 LLM의 답변을 모방함으로써, 실제로 거대 규모의 모델을 사용하지 않아도 유사한 효과를 낼 수 있습니다. LLaMA 모델의 가장 작은 버전인 7B 계열의 파생 버전인 Mistral의 7B 계열 모델이 가장 널리 쓰이는 SLM 모델이며, Microsoft가 출시한 Phi 계열의 모델은 더 작은 약 2.7B의 규모를 가지면서도 준수한 성능을 보장합니다.

 

양자화 알고리즘

양자화(quantization)는 LLM의 매개변수(parameters)나 활성화 함수에서 사용되는 데이터의 정밀도를 줄이는 과정입니다. 예를 들어, 32비트 부동소수점(FP32) 형태로 표현되는 가중치를 8비트 정수(INT8) 형태로 변환하는 것이 양자화의 한 예입니다. 이러한 변환을 통해 모델의 메모리 요구량을 크게 줄이고, 계산 효율을 높일 수 있습니다. 

 

 Huggingface에서 공개된 LLM 모델들을 살펴보면, 모델명 뒤에 GGUF, GPTQ, AWQ와 같은 수식어가 마지막에 붙어 있는 것을 흔하게 볼 수 있습니다. 이는 각각 GPT-Generated Unified Format, Generalized Post-Training Quantization, Activation-Aware Weight Quantization를 의미하며, 각 알고리즘의 양자화 과정에 대한 특징을 표현하고 있습니다. 양자화는 특정 디바이스나 사용 맥락에 따라 적절한 알고리즘을 선택하여 수행됩니다. 

 

기업 보안을 위한 프라이빗 LLM

프라이빗(Private) 또는 폐쇄형 LLM은, 퍼블릭 LLM과 달리 기업 내부망에서만 사용할 수 있는 LLM을 의미합니다. 오픈소스 LLM 및 경량화 LLM의 대중화로, 기업은 이제 데이터 보안을 보장하고 및 모델 조정이 자유로운 프라이빗 LLM 환경을 구축할 수 있게 되었습니다. 여기에, 모델의 미세 조정 없이도 기업의 데이터를 반영할 수 있는 RAG 시스템이 등장하면서 기업이 생성형 AI를 사용하는 것은 더욱 간편해졌습니다. 

 

AgensSQL Gen AI Edition은 기업에 있어 필수적인 데이터 보안을 위해 프라이빗 LLM을 서비스에 간편히 적용할 수 있는 엔진을 탑재하고 있습니다. Gen AI Edition에서의 프라이빗 LLM 적용 과정은 다음과 같습니다.

1. LLM 마이그레이션 및 배포: 기업의 목적에 맞는 LLM을 선택하고 기업 환경에 마이그레이션 및 최적화한 후, 기업 내부망에서 이용할 수 있도록 배포합니다.
2. LLM 조정: 기업이 LLM에 반영하고자 하는 데이터가 존재할 경우, 이를 적절한 형태로 변환하여 AgensSQL DB에 저장합니다. 그 후, RAG 시스템을 통해 LLM을 데이터에 맞게 조정할 수 있습니다.
3. 생성형 AI 서비스 통합: 생성형 AI 서비스와 구축한 LLM 및 RAG 시스템을 연동하여 통합합니다. 최종적으로 서비스가 정상적으로 작동하고, 데이터 보안 규칙을 준수하는지 검증합니다.

특히, 비트나인이 보유한 데이터베이스 기술력을 바탕으로 설계된 우수한 RAG 시스템은 데이터 보안을 준수하면서 강력한 생성형 AI 시스템을 구축할 수 있도록 합니다. 

 

결론

본 포스트에서는, 퍼블릭으로 제공되던 LLM가 가지고 있는 한계점을 살펴보았고 오픈소스 LLM 및 LLM 경량화 알고리즘의 발전으로 기업이 데이터 보안을 위한 프라이빗 LLM을 채택할 수 있게 된 배경을 알아보았습니다. 하지만, 기업 인프라의 한계로 경량화 프라이빗 LLM을 사용할 경우 그 성능은 충분하지 않을 수 있습니다. AgensSQL Gen AI Edition은 프라이빗 LLM 연동을 지원하는 동시에, RAG 시스템과의 통합을 통해 더 강력한 생성형 AI 시스템을 구축할 수 있도록 하여 이러한 성능 한계를 극복할 수 있는 솔루션이 될 수 있을 것입니다.

 

참고

1) 프라이빗 LLM 시대가 온다

2) Top Large Language Models Reshaping the Open-Source Arena

3) Phi-2: The surprising power of small language models

4) LLM Quantization | GPTQ | QAT | AWQ | GGUF | GGML | PTQ

 

 

---

비트나인의 생성형 AI 솔루션, AgensSQL GenAI Edition에 대해 궁금하시다면?

▶제품 소개서 보기

 

비트나인의 콘텐츠를 계속 받아보고 싶으시다면?

▶뉴스레터 구독하기

 

제품 및 기술문의

070-4800-3517  |   agens@bitnine.net