Hadoop Job Tacker
Job Tracker는 작업 자원 관리 및 작업 예약 / 모니터링을위한 마스터 데몬입니다. Hadoop과 애플리케이션 간의 연결 역할을합니다.
과정
사용자는 클라이언트에 작업을 제출하기 전에 먼저 DFS (분산 파일 시스템)에 파일을 복사합니다. 그런 다음 클라이언트는 이러한 입력 파일을 수신합니다. 사용자는 입력 파일을 기반으로 분할 또는 블록을받습니다.클라이언트는남자의 분할 또는 블록 생성ner it prefers, 뒤에 특정 고려 사항이 있기 때문에. 전체 데이터에 대한 분석이 수행되면 데이터를 분할합니다. 파일은 클라이언트를 통해 복사되지 않지만 flume, Sqoop 또는 외부 클라이언트를 사용하여 복사됩니다.
파일이 DFS에 복사되고 클라이언트가 DFS와 상호 작용하면분할은 MapReduce j를 실행합니다.ob. 작업은 작업 추적기를 통해 제출됩니다. 작업 추적기는 동일한 노드에서 실행되는 마스터 데몬입니다.달리다데이터 노드에서 이러한 여러 작업. 이 데이터는 다양한 데이터 노드에 위치하지만이를 처리하는 것은 작업 추적기의 책임입니다.
클라이언트가 제출 한 후작업 추적기가 작업 대기열에서 초기화되고 작업 추적기가 맵을 만들고 축소합니다. 지도 기능 및 축소 기능에 포함 된 프로그램을 기반으로지도 작업을 생성하고 작업을 축소합니다. 이 두 가지는 입력 분할에서 실행됩니다. 참고 : 클라이언트가 생성 한 경우이 입력 분할에는 전체 데이터가 포함됩니다.
자바에서 능력을 수행하는 방법
각 입력 분할에는 실행중인 맵 작업이 있으며 맵 작업의 출력은 축소 작업으로 이동합니다. 작업 추적기는 특정 데이터에 대한 트랙을 실행합니다. 여러 복제가있을 수 있으므로 로컬 데이터를 선택하고 해당 특정 작업 추적기에서 작업을 실행합니다. 작업 추적기는 데이터 노드에서 실제로 작업을 실행하는 것입니다. Job Tracker는정보작업 추적기에 추가하면 작업 추적기가 데이터 노드에서 작업을 실행합니다.
작업이 작업 추적기에 할당되면 각 작업 추적기와 작업 추적기와 관련된 하트 비트가 있습니다. 데이터 노드가 아직 살아 있는지 확인하기 위해 신호를 보냅니다. 노드가 페이드 아웃 될 가능성이 있기 때문에 둘은 종종 동기화됩니다.
Java just in time 컴파일러
질문이 있으십니까? 댓글 섹션에 언급하시면 다시 연락 드리겠습니다.
관련 게시물: