비트나인 Graph it

[백서 프롤로그] 그래프 기술이 만드는 차원이 다른 생성형 AI

생성 AI 모델의 한계 2023년, 생성형 AI(GenAI) 분야가 급격히 성장하고 있습니다. 이러한 AI 모델들은 대규모 언어 모델(LLM)을 기반으로 하며, 대규모 데이터셋으로 사전학습되어 있습니다. 특히, 이미지, 텍스트, 영상 등 창조적인 작업 분야에서 활용되며, 그 정확도와 효율성이 꾸준히 향상되고 있습니다. 그러나, 모델 학습 및 실행 과정에서 많은 시간과 자원이 소요되며, 편향성과 환각(hallucination) 현상과 같은 문제가 발생합니다. 환각 현상이란 생성형 AI가 실제로 존재하지 않는 정보나 콘텐츠를 생성하는 것을 의미합니다.  이러한 문제를 해결하기 위해, 최근 생성형 AI 모델은 대규모 데이터셋으로 사전학습을 하고, 프롬프트 엔지니어링(prompt engineering)과 미세조..

퍼블릭 LLM 사용의 한계 최근 창작, 번역, 챗봇 등 다방면에 활용되고 있는 생성형 AI 서비스들은, 일반적으로 거대 언어 모델(Large Language Models, LLM)을 기반으로 합니다. LLM은 그 성능을 보장하기 위해 수십 억에서 수천 억 개의 매개변수를 가지며, 학습이나 추론에 고가의 전문 장비를 필요로 합니다. 이러한 특성때문에, 전문 장비 및 인프라를 갖추지 못한 기업은 자체적으로 LLM을 구축하기 어려우므로 퍼블릭(public) 또는 개방형 LLM을 이용하여 생성형 AI 서비스를 구축해야 합니다. 퍼블릭 LLM은 주로 API 형태로 제공되며, 대표적으로 ChatGPT 모델을 개발한 OpenAI 사에서 ChatGPT 모델을 API로 이용할 수 있도록 제공하고 있습니다. 하지만 퍼블릭..

클라우드 전환에서의 오픈소스 DB, 선택 아닌 필수오픈소스 DBMS는 최신 IT 트렌드인 클라우드 네이티브 및 빠른 기술 혁신을 위한 기반으로 각광받고 있습니다. 기능과 성능 면에서 지속적인 발전을 거듭하며, 상용 DBMS를 대체하는 사례가 빅데이터 분석, 클라우드, AI와 같은 영역에서 증가하고 있습니다. 지금으로부터 약 6년 전부터 전 세계 DBMS 시장에서 ‘탈 오라클’ 현상이 계속되고 있었습니다. IT데일리의 기사에 따르면 주 원인은 라이선스 비용의 증가와 함께 감소하고 있는 혜택, 그리고 클라우드 도입의 확대라고 합니다. 오라클의 비용 대비 혜택이 크게 줄어들어 불만이 증가했고, AI 등 기술의 발달과 함께 온프레미스에서 클라우드 인프라로 전환하는 동향이 확대되었습니다. 이를 계기로 ..

일반적인 데이터베이스와 지식베이스의 차이 지식그래프(Knowledge Graph)는 사람이 기억으로 생성하고 활용하는 지식 정보를 좀 더 정확하게 관리하고, 많은 양의 지식 탐색을 위한 기법으로, 정보를 저장하는 지식베이스(Knowledge Base)와 네트워크 구조로 분석할 수 있도록 표현하는 그래프(Graph)를 합친 단어입니다. 지식베이스란 도메인 정보와 특정 분야의 전문가들이 축적한 전문 지식과 문제 해결을 위한 자료 등을 축적해 놓은 지식창고, 즉 데이터베이스입니다. 지식베이스란 용어는 일반적인 데이터베이스라는 용어와 구별하기 위해서 만들어졌습니다. 1970년대에 거의 모든 정보 관리 시스템은 데이터를 관계형 데이터베이스 시스템(RDBMS)에 저장했기 때문입니다. 지식베이스와 일반적인 데이터베이..

지난해는 그래프 기술이 NoSQL 데이터베이스 중 주류가 된 해였습니다. 그래프 DB는 일반적인 사례(예: 사기 탐지, 자금 세탁 방지 및 CRM 등) 외에도 새로운 사례(예: 암 치료 개선, 암호화폐 의심 거래 탐지, 조세 회피 조사)에도 활발하게 적용되고 있습니다. 올해 그래프 DB는 기업들이 꼭 활용해야 할 ‘필수’ 데이터베이스가 될 것입니다. 이미 많은 기업과, 고객들이 그래프 기술로부터 이익을 보게 되면서 기술력은 입증된 바 있습니다. 앞으로 그래프는 계속해서 데이터 환경의 질을 높여나갈 예정입니다. 요즘 글로벌 시장에서는 그래프 기술을 빠르게 발전하는 ‘그래프 데이터 사이언스’라고 부르는데요, 이 화제거리인 키워드에 그래프 기반 ‘디지털 트윈’이 핵심이라고 합니다. 그래프 DB: 데이터 환경의..