기존 엔터프라이즈 IT 솔루션에서 Hadoop 채택이 증가하고 프로덕션 환경에서 Hadoop 구현 수가 증가함에 따라 Hadoop 운영 및 관리 전문가가 대규모 Hadoop 클러스터를 관리 할 필요성이 점점 더 커지고 있습니다.
Hadoop 관리자의 책임 :
- Hadoop 인프라의 구현 및 지속적인 관리를 담당합니다.
- 시스템 엔지니어링 팀과 협력하여 Hadoop에 필요한 새로운 하드웨어 및 소프트웨어 환경을 제안 및 배포하고 기존 환경을 확장합니다.
- 데이터 제공 팀과 협력하여 새로운 Hadoop 사용자를 설정합니다. 이 작업에는 Linux 사용자 설정, Kerberos 주체 설정 및 새 사용자에 대한 HDFS, Hive, Pig 및 MapReduce 액세스 테스트가 포함됩니다.
- Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage 및 기타 도구와 같은 도구를 사용하여 노드를 생성 및 제거 할뿐만 아니라 클러스터 유지 관리.
- Hadoop 클러스터 및 Hadoop MapReduce 루틴의 성능 조정.
- Screen Hadoop 클러스터 작업 성능 및 용량 계획
- Hadoop 클러스터 연결 및 보안 모니터링
- Hadoop 로그 파일을 관리하고 검토합니다.
- 파일 시스템 관리 및 모니터링.
- HDFS 지원 및 유지 관리.
- 높은 데이터 품질과 가용성을 보장하기 위해 인프라, 네트워크, 데이터베이스, 애플리케이션 및 비즈니스 인텔리전스 팀과 부지런히 협력합니다.
- 애플리케이션 팀과 협력하여 필요한 경우 운영 체제 및 Hadoop 업데이트, 패치, 버전 업그레이드를 설치합니다.
- 공급 업체 에스컬레이션을위한 연락처
Hadoop Administration은 많은 성장 기회가있는 보람 있고 수익성있는 경력입니다. 위에 나열된 직무에 관심이 있다면 Hadoop 관리 기술을 익히고 Hadoop 관리 경력을 쌓을 때입니다.
자바의 해시 맵과 해시 테이블
Hadoop 관리자가 수행하는 DBA 책임 :
- 인정 된 표준에 기반한 데이터 모델링, 설계 및 구현.
- 소프트웨어 설치 및 구성.
- 데이터베이스 백업 및 복구.
- 데이터베이스 연결 및 보안.
- 성능 모니터링 및 조정.
- 디스크 공간 관리.
- 소프트웨어 패치 및 업그레이드.
- 수동 작업을 자동화합니다.
Hadoop 관리자가 수행 한 DWH 개발 책임 :
DWH 관리자의 작업 책임에는 다음 작업에 대한 배치 작업의 개발, 테스트 및 모니터링이 포함됩니다.
- 참조 무결성을 확인하십시오.
- 기본 키 실행을 수행합니다.
- 데이터 수정을 수행합니다.
- 적시에 대용량 데이터를로드합니다.
이제 Hadoop 관리자의 업무 책임에 대해 알았으니 하나가되는 데 필요한 기술을 살펴 보겠습니다.
Hadoop 관리자가되기 위해 필요한 기술 :
- 우수한 문제 해결 기술, 시스템 용량 이해, 병목 현상, 메모리 기본 사항, CPU, OS, 스토리지 및 네트워크와 같은 일반적인 운영 전문 지식
- HBase, Hive, Pig, Mahout 등과 같은 Hadoop 기술
- 가장 필수적인 요구 사항은 다음과 같습니다. Hadoop 클러스터를 배포하고, 노드를 추가 및 제거하고, 작업을 추적하고, 클러스터의 중요한 부분을 모니터링하고, 이름 노드 고 가용성을 구성하고, 예약 및 구성하고, 백업을 수행 할 수 있어야합니다.
- Hadoop이 Linux에서 실행되므로 Linux에 대한 지식이 풍부합니다.
- 오픈 소스 구성 관리 및 Puppet 또는 Chef 및 Linux 스크립팅과 같은 배포 도구에 대한 지식.
- 핵심 Java 애플리케이션 문제 해결에 대한 지식은 장점입니다.
Edureka는 특별히 Hadoop 관리 과정을 큐레이팅했습니다. 아래 버튼을 클릭하여 Hadoop 관리를 시작하고이 과정이 Hadoop 관리자가되는 데 어떻게 도움이되는지 알아보십시오.
관련 게시물:
자바 예제에서 메소드 오버로딩 및 오버라이드