ICT와 빅데이터

ICT와 빅데이터

빅데이터를 공부하는 분들이라면 빅데이터는 무엇인지, ICT가 무엇인지, 빅데이터와 어떤 관련이 있는지에 대하여 알 필요가 있습니다. (제4장 "빅데이터 기술분류 및 현황"부분을 더 신중히 보세요.)

1. ICT

요즘 들어 ICT라는 용어가 언론상에서 많이 거론되며 많은 이슈들을 만들어 내고 있습니다. 정부차원에서도 ICT의 육성에 대하여 다양한 내용을 담은 정부개편안을 보여주고 있으며, 또한 다양한 매체에서 ICT에 대한 언급을 하고 있습니다.

그러나 ICT는 무엇을 의미하며, 우리생활에 어떠한 영향을 미치게 될지에 대해서는 모르는 부분이 많습니다.

정보 융합을 통한 새로운 시장의 창출

ICT란 정보 통신 기술(Information & Communication Technology)의 약자로써 흔히 알고 있는 정보 기술(Information Technology, IT)로 더 친숙하게 접하고 있습니다.

IT는 흔히 접하는 인터넷, 휴대전화 등의 기술 및 이를 운영하는 프로그램 등을 IT로 총칭하는 경우가 많습니다. ICT도 이러한 면을 지니고는 있으나, ICT는 기존의 정보기술인 IT와 통신산업간의 컨버젼스를 통해 새롭게 발전해 나가는 산업을 뜻합니다.

즉, IT+Communication 이라고 볼 수 있는 것입니다.

더욱 중요성이 커진 ICT.

최근 제조업 및 기술을 바탕으로 성장해 온 많은 기업들이 경영위기를 맞고 있는 이때에 ICT를 선도하는 기업과 국가 전 세게적으로 두각을 나타내며 성장을 하고 있습니다. 그러므로 ICT를 미래 성장 동력으로 육성해야 함은 부정할 수 없는 사실입니다.

애플이 2007년 아이폰을 출시하면서 세계 최고 회사로써 자리잡고 있으며, 구글 또한 같은 해에 안드로이드를 사용하는 스마트폰을 출시하며 전세계 모바일 운영체제 중 1위를 달리고 있으나 그 동안 세계 전자산업을 이끌어온 소니, 이동통신기술을 상용화한 모토로라, 디지털 이동통신 기술로 10년 동안 단말기 시장을 지배해 오던 노키아 등 많은 기업들은 현재 극심한 경영위기를 겪고 있습니다.

ICT를 통하여 발전하고 새로운 도약을 시도하기 위해서는 콘텐츠·플랫폼·네트워크·기기의 ICT 생태계를 총괄 및 육성하여 ICT 생태계를 만드는 것이 ICT를 통하여 한 단계 더 도약할 신성장 동력이 되는 것이라 보여 집니다.

ICT를 통해 변화 될 생활.

앞에서 살펴보았듯이 ICT는 전세계 산업전반 뿐 아니라, 우리 생활에서도 큰 영향을 미치고 있습니다.

지금 시도되고 있는 원격 수업 E 러닝등과 같은 온라인 콘텐츠, 그리고 스마트폰과 태블릿PC가 보급화 되면서 새롭게 나타난 직업인 앱 개발자, 스마트폰을 이용해 맛집을 찾거나, 집안의 상황을 스마트폰을 통해 살피는 등 이 모든 것들이 바로 ICT를 통하여 우리 생활이 급속도로 바뀌어 가고 있는 좋은 예입니다.

개인의 감성에 맞춘 서비스의 제공.

감성 ICT란 컴퓨터나 텔레지번 같은 기기가 사람의 감성을 인지하고, 인지한 감성 정보를 처리해 필요한 제품과 서비스를 제공하는 기술입니다.

이렇게 인간의 감성을 체크하여 데이터화하고, 다양한 IT기기에서 활용하여 소비자의 욕구 및 기호를 충족시켜 줄 감성 ICT는 바로 미래를 선도해 갈 핵심 선도분야로 손꼽히고 있으며, 소비자들의 다양한 감성에 맞춘 제품과 서비스가 가능하고 적용할 수 있는 분야도 다양해 성장 가능성이 무한 분야로써 주목 받고 있습니다.

지금까지 ICT에 대해 전반적으로 알아보았습니다. ICT 자체가 워낙 광범위하여 다양하고 복합적인 부분들이 모여 있지만, 앞으로 기술이 발전하고, 사회 자체가 더욱 삭막해져 갈수록 이러한 ICT산업에 대한 소비자들의 기대와 수요는 계속될 것입니다.

이러한 ICT는 융·복합 산업이므로 한쪽을 억제하고 다른 쪽을 육성하면 생태계 자체가 굴러가지 않는다는 특성을 지니고 있기 때문에 선순환의 ICT 고리를 찾아 장기적인 IT 정책을 통하여 역동적인 IT 생태계를 구축하기를 바랍니다.

[내용 인용] 스마트아카데미 (http://smartacademy.tistory.com/32)

2. 빅데이터

2-1. 빅데이터란 무엇인가?

2012년 IT 최고의 화두, '빅데이터'란 무엇인가?

작년 세계경제포럼에 모인 저명한 경제학자, 기업인, 정치인들은 2012년 떠오르느 10대 기술 중 그 첫번째로 '빅데이터' 기술을 선정했습니다. 이후 전 세계는 물론, 우리나라에서도 빅데이터에 대한 뜨거운 관심이 시작됐죠. 그런데, 도대체 이 빅데이터란 게 무엇일까요?

빅 데이터란?

빅 데이터(Big data)란 기존 데이터베이스 관리도구의 데이터 수집·저장·관리·분석의 역량을 넘어서는 대량의 정형 또는 비정형 데이터 세트 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 다양한 종류의 대규모 데이터의 생성·수집·분석·표현을 그 특징으로 하는 빅 데이터 기술의 발전은, 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동케 하고, 개인화된 현대 사회 구성원마다 맞춤형 정보를 제공·관리·분석 가능케 하며, 과거에는 불가능했던 기술을 실현시키기도 한다. 이같이 빅 데이터는 정치·사회·경제·문화·과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치있는 정보를 제공하며, 그 중요성 또한 부각되고 있다.

이렇듯, 빅 데이터는 단순히 방대한 크기의 데이터의 개념을 넘어, 무한한 가능성과 활용 가치를 지닌 정보 통신 분야의 ‘노다지’라고 할 수 있는데요. 그래서 이 빅 데이터를 누가 더 많이, 그리고 확실히 캐내고 영리하게 활용하느냐가 바로 빅 데이터 활용의 키워드라고 할 수 있습니다.

빅데이터로 점을 보다.

빅 데이터가 이처럼 주목을 받고 있는 이유는, 최근 들어 스마트폰과 소셜 미디어의 발달로 인해 데이터의 생성량이 상상을 초월할 정도로 급증했기 때문입니다. 이렇게 만들어진 개개인의 데이터는 단순히 거대한 저장 공간을 차지하는 용량 과다의 골칫거리로 취급받아 왔는데, 이 방대한 데이터들을 정밀히 분석하여 활용하면 질병이나 사회현상의 변화에 관한 새로운 시각이나 법칙을 발견할 가능성이 커지고, 일부 학자들이 빅 데이터를 통해 인류가 유사 이래 처음으로 인간 행동을 미리 예측할 수 있는 세상이 열리고 있다고 주장하면서 빅 데이터에 대한 관심은 극에 달하게 되었죠.

특히, 빅 데이터가 한 개인의 취향, 선호도, 관심사, 소비 성향뿐만 아니라 그 사람의 미래도 예측할 수 있다는 이론이 제기되면서, 소비자의 기호 분석에 관심이 많은 기업들이 가장 먼저 연구에 박차를 가하기 시작했습니다.
바야흐로, 빅 데이터로 한 사람의 선택과 미래를 예측하는 ‘점’을 볼 수 있게 된 것이죠.

빅데이터, 어떻게 하면 분리수거를 잘 해낼 수 있을까?

하지만, 데이터의 수가 무한대 상태에 이르다 보니 그중에서 가치 있는 데이터를 선별하는 일이 최고의 쟁점이 되고 있습니다.
사실, 빅 데이터는 기존의 빅 데이터에 비해 너무 방대해서 일반적인 방법으로는 수집, 저장, 검색, 분석, 시각화 등을 하기 어려운 실정이죠. 따라서, 빅 데이터가 진정한 가치를 발휘하려면, 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술의 의미가 포함되어야 할 것입니다.

이렇게 해서 생성된 빅 데이터 기술은, 다변화된 현대 사회를 보다 정확하게 예측하고 효율적으로 작동하도록 정보를 제공하며 개개인의 맞춤형 정보를 제공·관리·분석 가능케 하는데, 이는 정치·사회·경제·문화·과학기술과 같은 전 영역에 걸쳐 활용도가 매우 높죠.

 

빅 데이터 활용의 가장 성공적인 예는, 아마도 지난 2008년 미국 역사상 최초로 당선된 흑인 대통령, 버락 오바마의 선거 전략일 것입니다.
당시 미국 대통령 후보였던 오바마는 다양한 형태의 유권자 데이터베이스를 확보하여 이를 분석·활용한 '유권자 맞춤형 선거 전략'을 펼쳐 센세이션을 일으켰는데, 기존의 방식대로 단지 인종·종교·나이·가구형태·소비수준 등의 인적 사항으로 유권자를 분류하는 것을 넘어서서, 과거 투표 여부·구독하는 잡지·마시는 음료 등 유권자의 사소한 기호와 성향까지 전화, 방문, 또는 소셜 미디어를 통해 정보를 수집하여 온라인 통합 관리 시스템으로 손쉽게 저장한 뒤, 이를 바탕으로 체계적인 분석을 통해 유권자의 성향 분석, 미결정 유권자 선별 등 유권자에 대한 예측을 해서 '유권자 맞춤형 선거 전략'을 펼친 것이죠.
덕분에 오바마는 적은 비용을 들여 선거를 치르고, 믿기 힘든 새로운 역사를 쓰며 대통령 당선의 영광을 누리게 되었습니다.

특히 스마트폰 사용자 3000만을 기록한 IT 강국인 우리나라에서도 아직은 그 수집과 활용 면에서 시작에 불과하지만, 지난 제19대 총선부터 빅 데이터 활용을 시작했습니다.

 

인터넷을 검색하고 있는데 최근 내가 관심 있어 하는 상품들이 주르륵 광고 팝업으로 떠서 놀란 적이 있으시죠? 아마존닷컴이나 구글, 페이스북에서는 가입자의 구매 내역·주요 검색어·열람 혹은 게재한 사진과 동영상 등을 분석하여 이용자에게 추천 상품이나 맞춤형 광고와 친구 맺기를 제공하고 있으며, 국내 많은 쇼핑몰에서도 고객의 빅 데이터를 적극 활용하고 있는 추세랍니다.

 

빅 데이터는 또한 교통 정보와 기상 정보의 보다 정확한 제공을 도울 수 있고, 금융사에서는 고객에게 알맞은 금융 상품을 추천할 수 있으며, 보안회사에서는 빅 데이터로 보안의 위협을 예측할 수 있다며 앞 다투어 연구 개발이 진행 중입니다.

빅데이터 시대에서 인간이란 무엇인가?

이렇게 빅 데이터 시대의 도래는 이전에는 상상도 못 했던 거대하고 새로운 형태의 데이터 분석을 통해 미래를 예측하고 소비자의 선택까지 제안하며, 최적의 정책 결정으로 경제적·정책적 가치 효과를 극대화해줍니다. 그리고 바로 이것이 지금 전 세계에서 빅 데이터에 열광하는 이유죠.

 

하지만, 지금 우리가 한 가지 놓치고 있는 사실이 있습니다.
그것은 바로, 혁명적인 기술의 발전을 가져온 빅 데이터 시대에서 과연 인간의 역할이란 무엇인가, 하는 것입니다.

인간 고유의 영역, 인간의 가치가 드러나는, 인간만의 오랜 경험과 지식, 연륜을 바탕으로 하는 분야에까지 빅 데이터는 손을 뻗어가고 있습니다.
빅 데이터를 기반으로 로봇이 기사를 작성하고, 구글, 애플, MS의 음성인식과 외국어 번역 기술은 더 이상 외국어 통번역자를 필요로 하지 않죠. 또한, 오랜 노하우를 가진 전문 컨설턴트는 컴퓨터에게 그 자리를 양보해야 하며, 로봇이 X-레이 같은 간단한 촬영을 하고 병에 대한 진단과 처방, 치료 까지 하게 되는 세상도 멀지 않아 보입니다. 퀴즈쇼 `제퍼디(Jeopardy!)`에서 봤듯이 슈퍼컴퓨터를 이길 수 있는 ‘천재’ 인간은 아무도 없었듯이 말이죠.

하지만, 컴퓨터와 데이터의 활용에는 분명한 한계가 존재합니다. 예를 들어, 소비자 선택에 따라 이에 맞는 추천 상품들을 제공해 줄 때 단순히 데이터 분석만으로 창출된 결과 값이 과연 소비자의 만족을 끌어낼 수 있을지 100% 장담하기는 힘들기 때문입니다. 때론 그 추천 상품 목록을 보며, 마치 번역기를 돌려 번역된 소설을 읽는 것처럼 ‘맞는’ 말인데도 눈으로만 읽고 머리나 가슴으로 전달이 안 되는 경험을 할 수 있는 것이죠.
그렇기 때문에 데이터를 제대로 파악하고 분석할 수 있는 데이터 과학자가 필요한 것인데요, 다방면에 걸쳐 복합적이고 고도화된 지식과 능력을 갖추고 방대한 양의 데이터를 어떻게 의미 있는 결과물로 만들어 내는지가 중요하기 때문입니다.

빅 데이터의 시대, 미래를 보는 시야가 더 넓어진 것은 사실이지만, 데이터에만 의존해서는 풀리지 않는 문제도 반드시 존재하겠죠. 바로 인간 세계의 이치처럼 말입니다.

더 편리하고 효과적인 결과를 만들어내는 빅 데이터, 하지만 어디까지나 인간의, 인간에 의한, 인간을 위한 기술이 되어야 한다는 것을 명심해야겠습니다.

-자료 출처-

* 서적
『빅 데이터』 / 함유근 채승병, 삼성경제연구소, 2012년

* 사전
‘빅 데이터’, 네이버 지식백과
http://terms.naver.com/entry.nhn?docId=973161&mobile&categoryId=390
‘빅 데이터’, 위키백과
http://ko.wikipedia.org/wiki/%EB%B9%85_%EB%8D%B0%EC%9D%B4%ED%84%B0

 

-이미지 출처-

그림 1. Digital Marketing Gets a Boost With Big Data, Technorati
http://technorati.com/technology/article/digital-marketing-gets-a-boost-with/
그림 2. Big Data: Opportunity or Threat for Market Research?, Greenbook
http://www.greenbookblog.org/2012/03/21/big-data-opportunity-or-threat-for-market-research/
그림 3. What’s the Big Deal About Big Data, The GoodData Blog
http://www.gooddata.com/blog/whats-the-big-deal-about-big-data/
그림 4. Barack Obama 'Hope' poster, 위키백과
http://en.wikipedia.org/wiki/Barack_Obama_%22Hope%22_poster
그림 5. The Big Deal About Big Data, Bloomberg Businessweek
http://www.businessweek.com/articles/2012-04-23/the-big-deal-about-big-data
그림 6. NJ Congressman Tops ‘Jeopardy’ Computer Watson, CBS Philadelphia
http://philadelphia.cbslocal.com/2011/03/01/nj-congressman-tops-jeopardy-computer-watson/
그림 7.「[알아봅시다] 빅 데이터시대 인재, 데이터 사이언티스트」 / 디지털타임스 (2012-09-07)
http://www.dt.co.kr/contents.html?article_no=2012090702011860746002

☞ 작성 글은 등록일을 기준으로 하며 출처 사이트의 사정으로 링크 연결이 되지 않을 수 있습니다.

[내용 인용] http://dibrary1004.blog.me/30149864236

2-1. 기존 데이터 처리와 빅데이터 처리의 차이

n  빅 데이터는 가치 있는 모든 형태의 데이터를 사용한다.

n  빅 데이터 분석 대상이 되는 데이터의 저장된 형태는 아래 표와 같다.

정의	설명
정형(Structured)	고정된 필드에 저장된 데이터. 관계형 데이터베이스 및 스프레드시트 등.
반정형(Semi-Structured)	고정된 필드에 저장되어 있지는 않지만, 메타데이터나 스키마 등을 포함하는 데이터. XML이나 HTML 텍스트 등.
비정형(Unstructured)	고정된 필드에 저장되어 있지 않은 데이터. 텍스트 분석이 가능한 텍스트 문서 및 이미지/동영상/음성 데이터 등.

 

n  기존 데이터 처리와 빅 데이터 처리의 차이점

항목	설명
의사결정 속도	대용량 데이터 분석 위주로 장기적/전략적 접근이 필요함으로 기존 데이터 처리에 비해 상태적 의사결정 속도가 덜 요구됨.
처리 복잡도	기존 데이터처리에 비해 복잡하고 다양한 대용량 데이터를 처리함으로 통상적으로 분산 처리 기술이 필요.
데이터 양	빅 데이터의 사이즈는 단일 데이터 집합의 크기가 수십 테라바이트에서 수 페타바이트에 이르며, 그 크기가 끊임없이 변화.
데이터 형태 비중	비정형 데이터의 비중이 높고, 소셜 미디어 데이터, 로그 파일, 클릭스트림 데이터, 콜 센터 로그 로그 등 비정형 데이터 비중이 매우 높음.
처리/분석 유연성	기존 데이터 분석인 경우 처리 과정이 비교적 정형화(데이터모델/상관관계, 절차) 되어 있는 반면, 빅 데이터 처리/분석 과정은 새롭고 다양한 방법이 필요.

 

3. ICT 주도권이 데이터로 이동

n  빅데이터 시대에 데이터로의 주도권이 이동함에 따른 ICT 환경 변화에 대한 기술

3-1. 빅데이터의 특징

n  메타그룹(현재가트너)의 애널리스트 더그 레이니(Doug Laney)는 2001년 그의 연구 보고서와 관련 강의에서 데이터의 급성장에 따른 이슈와 기회를 데이터의 양(volume), 데이터 입출력의 속도(velocity), 데이터 종류의 다양성(variety)이라는 세 개의 차원으로 정의.

3-2. 데이터를 바라보는 시각이 변화

n  IT의 주도권이 인프라, 기술, SW 등에서 데이터로 전이되고 있으며 데이터가 IT에서 분리된 독립적인 주체로 발전.

n  데이터 폭증에 대한 대응과 데이터 분석이 ICT의 중요 이슈로 부각되며 빅데이터가 ICT시장과 기술발전의 핵심 주제로 인식.

n  축적과 공유를 통해 유의미하게 분석할 수 있는 데이터 자원(빅데이터)이 쌓이자 데이터는 '분석과 추론(전망)'의 대상으로 진화.

n  빅데이터는 사회 환경변화를 신속하게 감지하고 대응하는 역량, 스마트한 지능형/개인화 서비스를 창출하는 원천요소로 작용.

4. 빅데이터 기술분류 및 현황

한국정보화진흥원(NIA)의 빅데이터 전략센터(KBIG)에서 2013.12월에 발간한 '빅데이터 기술분류 및 현황' 문서를 참조하세요. 해당 문서의 목차는 아래 표와 같습니다.

---

1. 빅데이터 기술 동향

2. 빅데이터 요소기술 분류

①빅데이터의 활용 단계

②빅데이터 요소 기술의 분류

3. 빅데이터 기술별 유형 및 특성

①빅데이터 수집 기술

②빅데이터 공유 기술

③빅데이터 저장 기술

④빅데이터 처리 기술

⑤빅데이터 분석 기술

⑥빅데이터 시각화 기술

4. 국내외 빅데이터 표준화 동향

①국외 표준 단체 및 표준 내용

②국내 표준 단체 및 표준 내용

---

- 더 많은 정보를 원하시면 빅데이터 국가전략 포럼(http://bigdataforum.or.kr/)에서 확인하세요.

- 파일 용량이 커 URL을 알려드립니다.

  URL : http://bigdataforum.or.kr/?act=bbs&subAct=view&bid=report&seq=888

Posted by Bitnine(비트나인)