ECMiner™ Hadoop

Hadoop에 저장된 대용량 데이터를 분석하기 위해 ECMiner™는 Hadoop에 직접 접속하여 Big Data를 분석할 수 있는 환경을 제공합니다.

특징 및 기능

ECMinerHadoop™은 HDFS상의 테이블 형식의 데이터를 전처리하는 프로그램입니다.

ECMinerHadoop™을 통해 노드와 스트림으로 구성하여 실행하면 AapchePig 스트립트를 생성, 전송한 뒤 Hadoop상에서
스크립트를 실행하여 결과를 가져와 ecl파일로 변환 저장합니다.

편의 기능으로 HDFS상의 파일에 대한 업/다운로드, 리스팅/삭제 등의 기능을 제공합니다.

Hadoop Architecture

Big Data 분석을 위한 아키텍쳐는 다음과 같이 이루어졌습니다.

그림2