jj

카테고리 없음 2015. 11. 12. 14:58

http://cafe.naver.com/smartbcc/152437

빅데이터 분석 및 분산 처리를 위한 하둡 2일차 오후

카테고리 없음 2015. 11. 12. 14:58

자바 기본자료형(객체아님 나머지 자료형들은 다 객체)

byte, short, double ,int ,long, float ,boolean, char

//다른 자료형은 객체라서 잘 호환이 안됨


wapper class    //다 객체로 만듬

Byte, Short, Chartter, Integer, Long, Flot, Double, Boolean, 



하둡 자료형

Bytewritable, intwritable, longwritable, doublewritable, Booleanwritable, Textwritable,Nullwritable





우분투 설치 ->vm virtual  box 장치탭 -> 게스트확장






우분투  jdk 설치


$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update
$ sudo apt-get install oracle-java8-installer



빅데이터 분석 및 분산 처리를 위한 하둡 2일차 오전

교육 2015. 11. 12. 13:08

하둡의 구성요소


Namenode(master) - MASTER 역활, DateNode I/D작업지시(메타데이터 관리)

DataNode - 파일에 HDFS 블록기록

Secondary NameNode - 클러스터로 구성된 HDFS의 상태 모니터닝

JobTracker - 클러스터 노드에서 실행되는 사용자 애플리케이션 관리

TaskTracker - 각 slave 노드에 할당된 작업을 실행


하둡파일시스템


HDFS와 MapReduce는 둘다  Master/Slave 구조

HDFS - Master : Name node(메타정보 관리)

Slave : Date node(실제 데이터)



워드카운트 예제




예전

s/w복사 실행 데이터

하둡

데이터 s/w복사 실행