|
바야흐로 데이터의 시대다. 단문문자서비스(SMS), 인스턴트메신저(IM)의 메시지는 물론 소셜 네트워크 서비스(SNS)에서의 활동과 같이 생활 곳곳에서 데이터가 생성되고 있다. IT 기술의 발전으로 비즈니스 활동은 물론 개인 영역에서도 IT 기기의 이용이 증가하면서 오늘날 데이터는 ‘데이터 폭발’이라는 용어가 어색하지 않을 정도로 방대한 데이터가 생성, 활용되고 있다.
과거에는 규칙성을 지닌 정형 데이터만 분석해 비즈니스에 활용돼 왔다. 일정한 규칙성을 지녀 데이터 분석과 검색이 용이한 까닭이다. 그렇지만 더 많은 데이터를 분석하면 분석 결과의 정확도를 높일 수 있음은 주지의 사실이다. IT 발전으로 일정한 규칙없이 나열된 비정형 데이터까지 분석할 수 있는 환경이 마련됐으며, 이는 빅데이터라는 새로운 영역을 창출한 상황이다.
SQL로 실시간 분석요구 수용
빅데이터의 대두는 수많은 데이터를 비용효율적으로 담을 수 있는 저장소의 등장을 배경으로 한다. 투입비용이 분석을 통해 얻는 가치보다 많다면 분석의 필요성이 의미를 잃게 된다. 기존 정형 데이터만이 분석 대상이 됐던 것이 이 때문이다. 빅데이터를 화두로 이끌어낸 비용효율적 데이터 저장 방식은 바로 하둡이다.
그러나 하둡은 대용량 저장에 초점이 맞춰진 것으로 데이터 분석에는 한계가 존재했다. 맵리듀스는 불편했으며, 실시간 분석 등에서 한계를 지녔다. SQL과 유사한 하이브QL을 사용하는 ‘하이브(Hive)’, ‘피그(Pig)’ 등이 하둡 에코시스템에서 등장했지만, 성능은 물론 실시간 분석 등에서 한계가 존재했다.
하이브QL을 이용해 DW에서 활용되는 다양한 기능을 제공하는 하이브는 맵리듀스를 그대로 채택해 실시간 분석 요구를 여전히 맞추기 어려웠으며, 피그는 맵리듀스보다 배우기 용이했지만, 성능이 크게 부족했다. 이러한 분석의 어려움은 하둡으로 인해 촉발된 빅데이터의 관심을 실질적 수요로 연결시키지 못하는 걸림돌로 떠올랐다.
이에 등장한 것이 SQL온하둡(SQL on Hadoop)이다. SQL온하둡이란, 하둡 프레임워크의 맵리듀스를 이용하지 않고, 기존 데이터웨어하우스(DW)에서 활용되는 SQL 쿼리를 하둡에서 바로 활용하는 것으로, 재교육이 필요없으며, 실시간, 혹은 준실시간 분석은 물론 많이 활용되는 대화형 분석까지 가능하다는 장점이 있다.
‘임팔라’, ‘드릴’, ‘스팅거’, ‘호크’, ‘타조’ 등이 SQL온하둡의 대표 사례다. 또 최근에는 페이스북이 ‘프레스토’를, 이베이가 ‘기린’ 개발을 발표했으며, IBM이 ‘빅SQL’을, 오라클은 오라클SQL로 하둡을 활용할 수 있게 하는 ‘오라클 빅데이터SQL’을 선보이는 등 SQL온하둡은 빅데이터 분석 시장에서 빠르게 자리를 잡아가는 상황이다.
빠른 성능으로 실시간 분석 지원
SQL온하둡의 강점은 실시간 분석을 지원할 수 있는 빠른 성능이다. 또 데이터 분석가들에게 익숙한 SQL을 활용해 기존의 인력풀을 활용할 수 있어 빅데이터 분석을 보다 용이하게 해준다는 장점도 있다.
SQL온하둡에서 수많은 기술이 경쟁하고 있는 가운데 아파치 타조의 움직임은 특히 주목할 만하다. 최현식 박사 등 국내 개발진이 제안해 아파치 재단의 공식 프로젝트로 인정된 타조는 SK텔레콤에서 데이터 분석 플랫폼으로 사용되면서 성능을 입증해 더욱 주목받고 있다.
SQL온하둡과 관련한 수많은 기술이 등장, 경쟁하고 있지만, 실질적인 엔터프라이즈 적용 사례는 그리 눈에 띄지 않는 것이 사실이다. 이러한 상황에서 SK텔레콤이라는 대형 통신사업자의 적용 사례는 타조에 대한 주목도를 한층 높이는 사례다.
그루터는 최현식 박사 등 타조 개발진을 영입하고, 타조를 기반으로 빅데이터 시장을 공략한다는 전략을 아래 타조 프로젝트를 후원하고 있는 대표적인 기업이다. 2014년에는 가장 경쟁이 치열한 미국 시장 공략을 위해 미국 법인도 설립하는 등 빅데이터 선도 기업으로 도약하기 위한 본격적인 행보에 나섰다.
타조 전도사를 자처하는 그루터의 글로벌 시장 전략은 당연히 타조다. 미국 법인 설립도 실리콘밸리의 풍부한 인력풀을 활용해 타조 에코시스템을 구현하려는 목적이 크다. 그루터는 이를 증명하듯 2014년말 호튼웍스와 기술 파트너십을 체결햇으며, 타조 기반의 분석 어플라이언스인 ‘G-DPU’도 출시해 SQL온하둡 시장 개척에 나섰다.
SQL온하둡은 실시간 분석, 대화형 분석 등을 지원하는 장점으로 빅데이터가 보다 폭넓게 활용될 수 있는 기폭제가 될 것으로 전망된다. 이에 하둡 생태계는 물론, IBM, 오라클, EMC 등의 IT 시장 공룡들도 SQL온하둡 기술을 속속 선보이고 있다.
하지만 아직 실질적인 사례는 많지 않으며, SQL온하둡의 기술진화도 아직은 초기단계의 현재진행형이라고 볼 수 있다. 2015년 엔터프라이즈 시장에서 어떤 기술이 SQL온하둡을 주도할지 주목된다. |
hyun@datanet.co.kr
KT, ‘28GHz 기업전용 5G 네트워크’ 개발 성공
