빅데이터 분석 및 분산 처리를 위한 하둡 2일차 오전

하둡의 구성요소

Namenode(master) - MASTER 역활, DateNode I/D작업지시(메타데이터 관리)

DataNode - 파일에 HDFS 블록기록

Secondary NameNode - 클러스터로 구성된 HDFS의 상태 모니터닝

JobTracker - 클러스터 노드에서 실행되는 사용자 애플리케이션 관리

TaskTracker - 각 slave 노드에 할당된 작업을 실행

하둡파일시스템

HDFS와 MapReduce는 둘다  Master/Slave 구조

HDFS - Master : Name node(메타정보 관리)

Slave : Date node(실제 데이터)

워드카운트 예제

---

예전

s/w복사 실행 데이터

하둡

데이터 s/w복사 실행