가트너의 도널드 페인버그 (Donald Feinberg)는 2019년 2월 18~19일에 개최되었던 Gartner Data & Analytics Summit에서 상위 10개 데이터 및 분석 기술 트렌드를 발표한 바 있습니다. 해당 상위 10개의 트렌드에서 페인버그는 그래프 데이터 분석 시스템의 시장이 2022년까지 연간 100% 성장할 것으로 예상했습니다. 그래프 외에도 인공지능(AI)과 머신러닝(ML) 기술도 언급된 바 있으며, 트렌드에 꼽힌 거의 모든 기술은 그래프와 연관성을 지을 수 있습니다.
4차 산업을 일으킨 빅데이터 시대에는 비디오, 음성 파일, 사진 및 SNS 게시물 등과 같은 비정형 데이터가 통계 분석과 같은 정형 데이터보다 많아졌습니다. 그 때문에 사람들은 그 많은 데이터를 수용하기 위해서 IoT 장치에 의존하고 대량의 데이터를 관리할 수 있는 방법을 찾고 있습니다.
AI에 대한 간략한 소개
세계적으로 많은 기업은 경쟁 업체들을 앞서기 위해 인공지능 기술을 확보하여 수년에 걸쳐 관리한 데이터를 분석하기 시작했습니다. 무궁무진한 데이터를 통해 성공적인 비즈니스 업적을 이루기 위해서는 AI와 빅데이터 플랫폼을 활용하는 것이 21세기의 핵심 기법이라고 볼 수 있습니다.
AI는 인간의 결정을 모방하는 방식으로 작업을 수행하는 컴퓨터 프로세스입니다. 사람이 인생의 경험을 통해 지능을 쌓듯이 AI도 지식 라이브러리를 구축하기 위해서는 많은 데이터를 축적해야 합니다.
AI가 사람의 일을 대신 수행하기 위해서는 대량의 데이터뿐만이 아니라 의사 결정을 위해 상황 정보(Context)가 필요합니다. 상황 정보를 통한 학습은 사람들이 새로운 정보나 지식을 기억하거나 경험을 통해 이해할 수 있을 때 발생합니다.
하나의 예시로 자율 주행 차가 어둡고 폭풍우가 치는 밤을 뚫고 있다고 가정해 봅시다. 자동차는 주어진 상황 정보를 기반으로 주변 환경을 인식하고 판단하여 차에서 실행이 가능한 기능을 파악할 것입니다. 야간에는 길을 밝히기 위해 불을 켤 수 있을 것이고, 비 때문에 미끄러질 확률이 크다면 천천히 주행하거나 운전자를 안전한 지역에 데려다줄 수 있도록 프로그램화되어 있을 것입니다.
그래프로 AI를 구현하다 (Graph AI)
비트나인은 여러 경험을 통해 그래프 분석에 대한 비결을 보유하고 있습니다. 그래프 형태의 데이터 분석을 위해서는 그래프 분석 기술 및 알고리즘이 필수 요소임을 알 수 있습니다. 그래프 분석을 통해 실시간 추천 서비스, 이상 거래 탐지 및 SNS 분석기법에 적용될 수 있습니다. 그래프 데이터베이스에 대한 자세한 내용은 백서를 참조하거나 2월 5일 주간 기술동향에서 발행된 그래프 데이터베이스 기술 동향 및 적용 사례를 다운로드하여서 보시길 권장합니다.
AI의 가장 중요한 요소는 의사결정의 과정입니다. 그래프 AI는 모든 지식정보를 네트워크 형태로 연결하여 사람의 뇌 구조와 가장 유사한 형태로 구성되어있고 기존 AI보다 훨씬 더 효율적인 의사결정을 통해 AI의 질을 높이게 됩니다.
그래프가 제공하는 4가지의 상황 정보
앞에서 언급했듯이 그래프 AI의 핵심은 상황 정보에 있습니다. 그리고 그 상황정보를 제공하는 주요 영역 네 가지는 다음과 같습니다.
첫 번째는 의사 결정 지원에 대한 상황 정보를 제공하고 상황에 적합한 답변을 보장하는 지식 그래프입니다.
둘째, 그래프는 데이터 처리 효율성이 높기 때문에 그래프 기반의 머신러닝은 모델을 최적화하고 프로세스 속도를 높입니다.
셋째, 연결된 특징(Connected Feature)은 데이터를 분석하여 가장 예측이 가능한 요소를 식별합니다. 데이터에서 발견된 가장 강력한 특성을 기반으로 예측 모델을 작성하면 정확도가 향상합니다.
넷째, 마지막으로 그래프는 AI가 의사 결정을 내리는 방식에 투명성을 나타내 신뢰가 가는 증거를 제공합니다. 이 영역을 설명 가능한 AI(Explainable AI, XAI)라고 합니다.
의사결정의 영역: 지식 그래프
AI의 영역 중 가장 빠르게 발달한 것은 의사결정 지원 부분입니다. 지식 그래프로 인해서 적절한 상황 정보를 통해 사람의 의사결정을 돕고, 결정까지 도달하기 전의 과정을 자동화하고 간소화하게 지원합니다.
지식 그래프는 워크 플로우를 간소화하고 응답을 자동화하며 지능적인 의사결정을 확장하는 방법을 제공합니다. 높은 수준에서 지식 그래프는 실제 개체, 사실 또는 사물 간 상호 관계를 인간이 이해할 수 있는 형태로 설명하는 서로 연결된 집합체입니다. 평평한 구조 및 정적인 콘텐츠가 있는 간단한 지식 스페이스와 달리 지식 DB는 데이터 관계를 이용하여 정보를 수집하고 통합하여 새로운 지식을 도출합니다.
실제로 비트나인은 교원의 Redpen AI에 지식 그래프를 적용하여 스마트 학습지를 한 단계 높이는 업적을 이룬 적이 있습니다. 자세한 내용에 대해서는 링크를 참고해주시고, 조만간 에듀테크 관련으로 연재될 블로그 포스트도 기대해주시면 감사하겠습니다!
효율성의 영역: 그래프 기반 머신러닝
머신러닝은 수학적인 계산의 계산량을 줄이면서 정확도도 역시 떨어지지만, 머신러닝의 근원은 기존의 분석 결과물을 훼손하지 않고 새로운 기록을 반영하기 위한 기술이라고 이해할 수 있습니다.
현재 많은 기업은 여전히 테이블로 구축된 관계형 데이터베이스를 활용한 머신러닝에 의존하고 있습니다. 테이블 데이터에 의존하는 머신러닝은 리소스가 많이 소모됩니다. 수많은 조인으로 인해 반복 작업을 하기 때문입니다. 학습 시간이 오래 걸리면서 데이터로 인해 약간의 부정확성 또한 발생할 수 있습니다.
테이블 형식 머신러닝 기법은 가끔 예측 관계를 단순화시키고 생략할 수 있지만, 그래프로 저장된 관계는 연결된 데이터를 정확하게 분석하고 기존 기법보다 데이터를 더 빨리 동화시킬 수 있습니다. 그래프에서 예측 특성을 추출하여 머신러닝 틀에 재빨리 개조가 가능하다는 점에서 그래프는 테이블보다 머신러닝과 적합하다는 것을 알 수 있습니다.
현재 머신러닝 알고리즘은 선형 대수학에 의존하기 때문에 벡터가 주로 사용됩니다. 그래프를 머신러닝에 적용하게 된다면 노드 임베딩 (Node Embedding)으로 네트워크의 노드를 벡터로 변환시켜서 수월하게 머신러닝 분석을 할 수 있게 합니다. 머신러닝이 적용되면 노드의 속성과 노드 간의 관계를 예측 분석할 수 있어 두 기술의 궁합이 잘 맞는다는 점을 알 수 있습니다.
정확성의 영역: 연결된 특징 (Connected Feature)
그래프 기반 머신러닝을 설명했을 때와 비슷한 맥락을 가지고 있지만, 연결된 특징이란 연결된 데이터의 관계를 통해 행동을 예측하는 것을 의미합니다.
관계형 기반 머신러닝은 예측 관계와 상황 데이터를 없애고 분석을 추상화하고 단순화시킬 수 있다는 것을 앞서 설명했습니다. 반면 그래프로 저장된 데이터의 연결된 특징을 바로 추출하여 머신러닝에 도입이 가능합니다.
특징 추출을 통해 머신러닝으로 예측 시 정확도가 높아지며 사기 방지 또는 자금 세탁과 같은 금융 범죄를 예측하고 조사하는 데 도움이 됩니다. 범죄자들의 복잡한 여러 계층의 네트워크 관계를 분석하여 그들의 활동을 탐색할 수 있는 데에 유용합니다.
신뢰성의 영역: 설명 가능한 AI
인공지능 기술인 머신러닝은 빅데이터 알고리즘을 기반으로 사용자에게 의사결정, 추천, 예측 등의 정보를 제공하지만, 일부 머신러닝 기술은 알고리즘의 복잡성으로 인해 “블랙박스”라고 불리며, 이는 도출한 최종 결과에 대한 근거와 도출과정의 타당성을 제공하지 않는 이슈가 존재합니다.
금융, 보험, 의료 등의 분야는 고객의 신뢰를 기반으로 개인 정보와 자산 등을 관리하기 위해서 인공지능 시스템을 사용하는데, 블랙박스를 투명화한 ‘화이트박스’를 이용함으로써 인공지능 시스템의 동작 과정과 최종 결과를 이해할 수 있게 됩니다.
이러한 화이트박스 AI가 부제목에서 말하는 ‘설명 가능한 AI (Explainable AI, XAI)’입니다.
XAI의 신뢰성은 그래프 기술로부터 비롯됩니다. XAI가 존재하려면 우선 설명이 가능한 데이터를 사용해야 합니다. 하지만 설명이 가능한 데이터를 사용하는 것 자체가 그리 간단하지는 않습니다. 대형 클라우드 서비스라든지, 페이스북 같은 대기업은 막대한 양의 데이터를 보유하고 있지만, 어떤 데이터가 알고리즘에 사용되는지 파악하기 어려울 수 있습니다.
그래프는 요즘 주요 금융 기관에서 사용되는 데이터 연계 (data lineage) 방법을 사용하여 설명 가능한 데이터를 쉽게 제공합니다. 데이터를 그래프로 저장해야지만 데이터 변경 방법을 추적하고 누가 어떤 데이터를 사용했는지 알 수 있게 됩니다. 더 나아가서 지식 그래프를 통해 각 네트워크의 노드를 분석하여 설명 가능한 예측 또한 가능해집니다.
AI 시장에서 그래프 테크놀로지의 필요성 Pt. 2에 대하여...
그래프 기술이 제공할 수 있는 4가지의 상황 정보 영역을 알아봤습니다.
비트나인은 그래프 데이터베이스 기반의 기술로 앞으로의 AI 시장에 도약할 것입니다. 그래프 기술이 융합된 AI 시장의 미래는 유망하고 비트나인은 AI 분야에 대해서 상세한 경험을 갖춘 상태입니다. 그래프 알고리즘을 갖춘 그래프 AI는 정교한 의사 결정력과 신뢰 있는 데이터를 자랑합니다.
이어지는 Pt. 2 블로그 포스트에서는 설명 가능한 AI가 지능 증강 (Intelligence Augmentation)에 어떻게 속하는지에 대해 간략히 알아보겠습니다.
다음 화가 올라올 때까지 기다려주세요!
AI에 강하다! 그래프 테크놀로지 전문 기업
AgensGraph,Bitnine
다양한 적용사례를 확인하세요!
'USE CASES > 사례 연구' 카테고리의 다른 글
| 이상거래탐지시스템(FDS) 고도화의 필수요소, 그래프DB (0) | 2020.04.14 |
|---|---|
| 지식 그래프를 도입한 XAI 신약개발 솔루션 (0) | 2020.03.11 |
| AI 시장에서 그래프 테크놀로지의 필요성 Pt.2 (0) | 2020.02.24 |
| 그래프 데이터베이스를 접목한 FDS, 사이버 범죄의 효율적 대응 전략! (0) | 2017.05.02 |
| 지급결제업무와 그래프 데이터베이스 (0) | 2015.09.23 |