Hadoop 프레임 워크의 가장 매력적인 기능 중 하나는 상용 하드웨어 활용 . 그러나 이로 인해 Hadoop 클러스터에서 빈번한 DataNode 충돌이 발생합니다. Hadoop Framework의 또 다른 놀라운 기능은 데이터 볼륨의 급격한 증가에 따른 확장 용이성 . 이 두 가지 이유 때문에 Hadoop 관리자의 가장 일반적인 작업 중 하나는 위원회 (추가) 및 해체 (제거) Hadoop 클러스터의 데이터 노드.
Hadoop 클러스터에서 노드 커미셔닝 및 디 커미셔닝 :
위의 다이어그램은 클러스터에서 DataNode를 해제하는 단계별 프로세스를 보여줍니다.
첫 번째 작업은‘ 들어오지 못하게 하다 둘 다에 대한‘파일 HDFS (hdfs-site.xml) 및 MapReduce (mapred-site.xml).
‘제외’파일 :
네임 스페이스 C ++ 사용
- jobtracker 용 jobtracker에서 제외해야하는 호스트 목록이 포함됩니다. 값이 비어 있으면 호스트가 제외되지 않습니다.
- Namenode 용 네임 노드에 연결할 수없는 호스트 목록이 포함되어 있습니다.
다음은 hdfs-site.xml 및 mapred-site.xml의 제외 파일에 대한 샘플 구성입니다.
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / excludes
진실
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / excludes
진실
노트 : 파일의 전체 경로 이름을 지정해야합니다.
마찬가지로 '포함'파일이 있습니다.
- jobtracker 용 JobTracker에 연결할 수있는 노드 목록을 포함합니다. 값이 비어 있으면 모든 호스트가 허용됩니다.
- Namenode 용 네임 노드에 연결이 허용 된 호스트 목록을 포함합니다. 값이 비어 있으면 모든 호스트가 허용됩니다.
‘ dfsadmin ’및‘ mradmin ’명령은 새 노드를 인식하도록 변경 사항으로 구성을 새로 고칩니다.
‘ 노예 마스터 서버의’파일에는 모든 데이터 노드 목록이 포함되어 있습니다. 또한 향후 hadoop 데몬 시작 / 중지에서 문제가 발생하도록 업데이트해야합니다.
데이터 노드 커미션 프로세스에서 중요한 단계는 클러스터 밸런서를 실행하는 것입니다.
> hadoop 밸런서-임계 값 40
밸런서 이전 노드에서 새로 위임 된 노드로 블록 데이터를 복사하여 데이터 노드 간의 특정 임계 값에 균형을 제공하려고합니다.
그래서 이것이 여러분이 할 수있는 방법입니다. 시운전 과 해체 Hadoop 클러스터의 노드.
질문이 있으십니까? 의견란에 언급 해 주시면 연락 드리겠습니다.
관련된 링크들: