하둡의 구성요소



Fully distributed (완전분산모드) 로 시작하기 전에 간단하게 하둡의 구조와 구성요소를 간단하게 알아보고자....글을 씁니다. ^^


첫장에 서 말했듯 하둡은 분산된 환경에서 연산 처리 하기 때문에 여러개의  데몬 또는 상주 프로그램들이 각각의 컴퓨터에서 실행된다. 그로인해 각각의 분산된 데몬들을 관리할수 있는 시스템 구조를 가진다.


hadoop 에서는 큰틀로 Master - Slave 구조를 가진다. 각각의 역활에 맞게 5섯가지의 데몬들이 존재한다.

    • NameNode - 가장 필수적인 하둡 데몬이다. master역활을 하며 datanode 에게I/O 작업을 지시한다.
    • DataNode -  클러스트에 포함되어 있는 slave 머신에서 존재, local 파일 시스템에 위치한 HDFS 블록을 기록하거나 해당 파일을 read
    • Secondary NameNode - 애기치 못한 오류를 처리하기 위해 사용되는 데몬이다.
    • Jobtracker - 클러스트 노드에서 실행되는 사용자 app 들을 관리한다.
    • TaskTracker - 각 slave 노드에 할당된 작업의 실행을 담당한다.