|
빅데이터와 사물인터넷(IoT) 기술이 발전하면서 데이터베이스(DB)와 같은 정형 데이터 외에도 이미지, 영상, 소리 등 비정형 데이터들을 수집·보관하고 저장해야 하는 수요가 점차 늘어나고 있다. 이에 대응하기 위한 방안으로 오브젝트 스토리지가 주목받고 있다. 오브젝트 스토리지는 비정형 데이터 저장 시 메타 데이터를 함께 저장함으로써 비정형 데이터의 검색과 분석을 가능케 함으로써 비용 효율적으로 관리를 할 수 있도록 돕는다. <편집자>
| |
 |
|
▲ 권필주 효성인포메이션시스템
솔루션사업팀 수석 컨설턴트
(his-pjkwon@hyosung.com) |
몇 년 전 업계에 등장한 소프트웨어 정의 데이터센터(SDDC)는 기업들의 데이터센터 운영 방식을 혁신적으로 변화시켰다. SDDC는 가상화된 인프라 자원뿐만 아니라 운영, 보안 및 컴플라이언스 정책을 손쉽게 클라우드 인프라로 확장시켜 효율적인 통합 데이터센터 운영 환경을 구현한다. 특히 기업들이 SDDC 환경을 구축하려 했던 것은 자사의 수익, 고객 및 경쟁사에 대한 데이터를 더 효과적으로 수집하고 분석해 인사이트를 확보하기에 유용한 환경을 얻을 수 있기 때문이다.
SDDC 및 클라우드를 구현해 데이터 가치를 증대시키는데 투자하려는 기업들은 우선 다양한 종류의 대규모 데이터를 관리 가능한 형태로 변환해 저장, 보관하고 상시 접근을 보장할 수 있는 스토리지 기술을 활용할 수 있어야 한다. 기존의 파일 및 블록 스토리지는 기업 환경에서 90%를 차지하고 있는 비정형 데이터를 관리하기 위한 충분한 성능, 용량 및 확장성을 제공할 수 없다. 이는 기업들이 자사의 IT 환경에 존재하는 데이터 특성에 맞는 새로운 스토리지 저장 및 관리 방식을 필요로 한다는 의미다.
메타 데이터, 비정형 데이터 관리 해답
기업들이 활용하는 데이터는 정형 데이터와 비정형 데이터의 두 종류가 있다. 정형 데이터는 열과 행으로 구성된 엑셀(Excel) 시트와 같이 데이터베이스에 저장돼 있는 데이터를 의미하며, 비정형 데이터는 열과 행으로 구분될 수 없는 사진, 통화 기록, 영상, 스캔 등을 의미한다.
기업들이 이미 친숙한 정형 데이터는 데이터베이스의 열과 행으로 구성된 테이블에 저장하고 있어 SQL 명령을 통해 쉽게 검색이 가능하다. 그러나 이미지와 같은 비정형 데이터는 테이블 구조에서 정보를 얻기 위해 수행하는 것과 같은 쿼리를 수행할 수 없어 이미지 안에 있는 텍스트 등 비정형 데이터에 대한 정보를 쉽게 추출하고 검색할 수 없다.
전 세계적으로 비정형 데이터의 증가 속도가 정형 데이터를 압도하고 있으며, 기업들의 IoT에 대한 투자 확대에 힘입어 그 양이 지속적으로 증대될 것으로 예상된다.
오브젝트 스토리지는 비정형 데이터 저장 시 데이터의 특성, 중요도 및 보존 주기 등의 속성 정보를 담은 메타 데이터를 함께 저장함으로써 기존 솔루션으로는 불가능했던 비정형 데이터의 검색과 분석을 가능하게 한다. 기업들은 검색 및 분석이 가능한 메타 데이터 덕분에 쿼리를 수행해 유용한 데이터를 보다 쉽게 찾아 가치 있는 정보로 변환할 수 있다.
이로 인해 오브젝트 스토리지는 기업들이 자사의 데이터센터에서 중요하게 관리해 온 정형 데이터뿐만 아니라 앞으로 그 양이 점차 더 많아질 비정형 데이터를 효과적으로 활용하게 하는 대안으로 부상하고 있다.
| |
 |
|
| ▲ 급증하는 비정형 데이터 |
비정형 데이터 역량 높이는 오브젝트 스토리지 전략
기업들은 이제까지 데이터센터에 저장하는 데이터의 아키텍처에 맞춰 데이터센터를 설계해 왔으며, 대부분 정형 시스템 환경에서 데이터를 관리했다. 이러한 정형 데이터 운영을 위한 기반 인프라로서 기업들은 고성능 및 복원성에 대한 증가하는 요구사항을 충족시키기 위해 블록 스토리지를 사용했다.
그러나 비정형 데이터의 양이 급격하게 늘어나고 있는 지금, 기업들은 기존의 블록 스토리지 기반의 정형 시스템에서 데이터베이스의 잦은 교체 및 성능 저하 문제를 해결해야 한다. 예를 들어 웹 기반 협업 플랫폼에서는 점점 더 많은 수의 사용자들이 비정형 데이터 파일을 업로드 함에 따라 데이터베이스의 용량이 매우 빠른 속도로 포화하며, 이는 파일 부하로 인한 시스템 성능 저하와 보다 많은 데이터베이스를 라이선스해야 하는 결과를 낳고 있다.
파일 계층 또는 블록을 규정하는 다른 스토리지 시스템과 비교해 오브젝트 스토리지 플랫폼은 파일을 플랫(flat) 구조로 동등하게 배치해 저장하므로 효율적인 고성능을 제공한다. 또한 파일 단위의 정책 기반 관리를 통해 불필요한 데이터의 복제 또는 보존 기간이 만료돼 필요 없게 된 파일을 자동으로 정리해 줌으로써 스토리지 관리를 위한 인원과 절차를 간소화할 수 있다.
이러한 오브젝트들은 인터넷 기반의 http 프로토콜을 포함한 산업 표준 프로토콜을 활용해 접근 가능하며, 인터넷 프로토콜로 언제 어디서든 간단한 설정만으로 데이터를 이동시키고 저장할 수 있다.
글로벌 음악 스트리밍 서비스 제공 기업인 스포티파이(Spotify)는 오브젝트 스토리지를 도입해 파일 계층으로는 할 수 없는 수백만 곡의 노래 데이터들을 관리하며, 메타 데이터를 활용해 이를 신속하게 검색 및 분석하고 있다.
효성인포메이션시스템의 엔터프라이즈급 오브젝트 스토리지인 HCP(Hitachi Content Platform)는 비정형 데이터를 위한 효과적인 통합 관리 환경을 구축해준다. 인터넷으로 데이터를 직접 저장할 수 있고 스케일업/아웃 기반 시스템 증설을 지원하기 때문에 방대하게 생성되는 비정형 데이터를 단일한 플랫폼에 통합해 보관하는 데이터 레이크 기능을 수행할 수 있다.
고성능의 RAID 보호 및 이레이저 코드(erasure code) 기술 기반의 강력한 데이터 보호를 지원하며, 오브젝트별 사본 구성으로 별도의 백업 없이 높은 가용성을 보장한다. 또한 압축과 중복제거 기술로 데이터 용량을 절감시켜 정형 데이터를 보다 비용 효율적으로 관리할 수 있다.
데이터 인텔리전스·컴플라이언스 대응 솔루션
효성인포메이션시스템의 HCP는 검색 및 활용을 위한 HCI(Hitachi Content Intelligence)와 결합해 기업이 데이터에서 보다 신속한 인사이트를 확보할 수 있도록 지원한다. HCI는 메타 데이터 쿼리 메커니즘, 콘텐츠 검색 및 인덱싱 옵션을 통해 개인 정보가 포함된 데이터를 보다 빠른 속도로 찾을 수 있다.
특히 유럽연합(EU)의 일반개인정보보호법(GDPR)의 요건을 충족시키는 데이터 활용 보고서를 생성해 새로운 인사이트를 제공하고 데이터 가치를 확대시킬 수 있다.
HCP 포트폴리오는 프라이빗 및 퍼블릭 클라우드 환경에서도 데이터 분석을 통해 수익성을 극대화하면서 강력한 데이터 보호 기능을 제공한다. 기업들은 자사의 디지털 트랜스포메이션을 가속화하기 위해 클라우드 도입을 가속화하고 있으며, 비용 및 컴플라이언스 문제로 인해 퍼블릭 클라우드에 프라이빗 클라우드를 결합해 사용하는 기업들이 늘어나고 있다.
| |
 |
|
| ▲ HCI의 관리 기능 |
HCP는 클라우드 인프라의 기본 요건인 멀티테넌시를 제공하며, 단일 가상 플랫폼을 통한 확장, 축소, 프로비저닝이 가능하다. 아마존(Amazon), 구글(Google), 마이크로소프트(Microsoft), 버라이즌(Verizon), 히타치 클라우드(Hitachi Cloud)를 포함한 모든 S3 기반 서비스와 MS 애저스택(Azure Stack)을 지원함으로써 하이브리드 클라우드를 보다 용이하게 구축할 수 있다.
자동화된 티어링을 통해 접근 빈도가 높은 파일은 온프레미스에 보관하고, 단순 저장만 필요한 데이터는 메타 정보만 온프레미스에 저장하고 실제 파일은 퍼블릭 클라우드에 보관함으로써 프라이빗, 하이브리드 및 퍼블릭 클라우드 서비스를 결합시킨다.
시스템 또는 운영체제의 논리적 오류로 인한 데이터 훼손을 주기적으로 확인하고 복구하는 기능과 WORM(Write Once Read Many) 기능을 통해 데이터의 무결성을 보장한다. 일정 기간 동안 수정되기 전의 파일을 보관하는 버저닝(versioning) 기능을 통해 데이터가 감염 또는 훼손될 경우 복구할 수 있다.
결론적으로 기업들은 데이터센터 현대화를 계속해서 진행하면서, 현재와 미래에 관리할 데이터 유형을 이해하고 그 활용 양상을 예측하는 것이 중요하다. 무엇보다도 비정형 데이터는 정형화된 데이터 시스템에서 생성되는 데이터의 양을 빠르게 넘어서면서 디지털 비즈니스에 갖는 잠재력이 매우 커졌다. 이에 기업들은 비정형 데이터 관리를 중요하게 고려해야 하며, 지금까지 관리해 오던 정형 데이터와 함께 미래에 보다 많은 비중을 차지할 비정형 데이터를 효과적으로 처리 및 관리할 만반의 준비를 갖춰야 할 것이다.
효성인포메이션시스템은 오브젝트 스토리지 솔루션 HCP 포트폴리오를 통해 기업들의 차세대 데이터센터 관리에 핵심인 비정형 데이터 관리, 검색, 분석 및 보호 기능을 효율적으로 지원한다. |
webmaster@datanet.co.kr
KT, ‘28GHz 기업전용 5G 네트워크’ 개발 성공
