어렸을 때 저는 스타 워즈 영화 시리즈를 좋아했습니다. 나는 그것을 너무 좋아해서 그들 각각의 비디오 카세트를 가지고있었습니다. 나는 그들을 계속해서 보곤했다. 그런 다음 DVD 플레이어의 시대가 왔고 저는이 영화를 DVD로 다시 가져와야했습니다. 나는 새로운 기술을 경험하고 내가 좋아하는 영화를 계속 즐기고 싶었 기 때문에 DVD로 전체 세트를 다시 구입하는 것에 대해 아무런 불만이 없었습니다. 또 다른 신기술 인 Blu-ray가 등장 할 때까지 모든 것이 훌륭했습니다. 이미 영화를 두 번 샀기 때문에 다시 구매할 생각은 없었습니다. 한동안 저는이 기술 없이는 잘 할 수있을 것이라고 생각하면서 스스로 '업데이트'하려고 노력하지 않았습니다. 그리고 나는 잘했다. 어쨌든 내 삶에 영향을주지 않았습니다. 하지만 트렌드의 변화를 볼 수 있었고 친구들끼리 같이하는 것처럼 내 영화를 친구들과 공유 할 수 없었습니다. 정말 소외감을 느꼈습니다.
드디어 나가서 블루 레이로 영화를 찍었습니다. 영화를 좋아해서가 아니라 영상의 퀄리티가 엄청나다는 사실이 기억납니다. 그리고 무엇보다도 하나의 Blu-ray 디스크에 전체 영화 세트를 담았습니다.
최신 상태를 유지하려는 욕구 또는 충동은 위험이 더 크기 때문에 우리 직업과 관련하여 가장 강력합니다. 게임에서 최고의 위치를 유지하는 것이 필수적이되었습니다.
Hadoop 2.0을 배우는 4 가지 실용적인 이유 :
피할 수없는 일이지만, 우리 직업에서 최신 정보를 유지하는 것은 우리 삶의 중요한 부분이되었습니다. 벅차게 들릴지 모르지만 기술이 그렇게 빠르게 또는 크게 변하지 않기 때문에 놀라실 필요가 없습니다. 그러나 이러한 기술과 우리가 할 수있는 일에 대한 이야기와 정보는 가시성을 얻고 있습니다. 최신 상태를 유지해야하는 몇 가지 이유는 다음과 같습니다.
# 1 : 발각되지 마십시오
최신 기술 업데이트에주의를 기울이지 않으면 헤드 라이트에 걸린 사슴처럼 보일 수 있습니다. 당신의 전문적인 능력을 정확히 보여주는 것은 아닙니다. 최신 상태를 유지하면 동료들로부터 전문 기술에 대한 존경을받을 수 있습니다. 배운 모든 새로운 것을 구현할 필요는 없지만 업데이트를 인식하는 것은 필수적입니다.
예를 들어, Hadoop에 대한 대화가있을 때 Hadoop 2.5.0이 HTTP 프록시 서버를 사용할 때 인증이 향상되었음을 동료에게 알릴 수 있습니다. 또한 매우 동일한 버전의 Hadoop에는 Graphite에 직접 쓰기위한 조항이 있습니다.
조직이 Hadoop으로 마이그레이션을 고려할 때 최신 업데이트를 파악하는 것이 필수적입니다. 그리고 '아는 것'은 당신의 경력에 큰 변화를 가져올 수 있습니다.
# 2 : 경쟁 우위 확보
해당 분야에서 숙련 된 전문가를 존경합니다. 그리고 최신 상태를 유지하는 것이 최고가되는 가장 좋은 방법입니다. 최신 정보를 유지해야하는 필요성은 직업에 대한 열정을 반영합니다. 직장과 업계에서 전문성을 개발함으로써 주변 사람들의 신뢰와 존경을 얻을 수 있습니다. 리더십 관점에서 이것은 매우 귀중합니다!
조직에서 여전히 Hadoop 1.0을 사용하고 있더라도 Hadoop 2의 모든 최신 기능을 알면 비교적 새롭고 확실히 더 나은 기능을 계속해서 사용할 수 있습니다. 이것을 배우는 첫 번째 사람이되면 동료보다 우위를 점할 수 있습니다.
# 3 : 새로운 기회
우리의 현재 역할이 계속 바뀌는 것은 슬픈 현실입니다. 시간이 지남에 따라 새로운 작업을 수행 할 수있는 책임과 기회가 추가됩니다. 업계 동향에 대한 최신 정보를 유지함으로써 이러한 기회를 포착 할 수있는 최상의 위치에 있습니다.
Macy 's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory 등과 같은 회사는 최신 기능에 능숙한 인재를 찾고 있습니다. YARN과 같은 Hadoop 2.
# 4 : 더 나은 의사 결정
추가 정보를 통해 정보에 입각 한 선택과 더 나은 결정을 내릴 수 있습니다. 기회를 인식하고 조직의 전략에 가치를 추가하는 데 도움이됩니다.
Hadoop 2에는 속도를 높이고 비용을 줄이는 기능이 있습니다. 성능을 개선하고 속도를 높이는 옵션을 제안하면 확실히 조직의 생산성을 높일 수 있습니다. 다음은 조직에 도움이되는 Hadoop 2의 몇 가지 기능이며 이러한 기능이 경력을 향상시킬 수 있음을 제안합니다.
Microsoft Windows에서 Hadoop 실행 지원
YARN 분산 캐시에서 HDFS를 통해 MapReduce 바이너리 배포를 단순화했습니다.
Application History Server 및 Application Timeline Server를 사용하여 YARN의 새 애플리케이션에 대한 지원 강화
HDFS에서 완벽한 HTTPS 지원
YARN의 타임 라인 저장소를위한 Kerberos 통합.
HDFS에서 이기종 스토리지 계층 지원.
중앙 집중식 관리 및 관리 기능을 갖춘 HDFS 데이터 용 인 메모리 캐시.
YARN 분산 캐시에서 HDFS를 통해 MapReduce 바이너리 배포를 단순화했습니다.
최신 정보를 유지해야하는 실제적인 이유 이상이 있습니다. 기술적 인 이유도 있습니다. Hadoop에는 조직에 유리한 수많은 기능이 있습니다. 자세히 살펴보면 이점이 무엇인지 명확하게 파악할 수 있습니다.
Hadoop의 최신 업데이트는 무엇입니까?
모든 제품은 다양한 릴리스 단계를 거치고 다양한 버전의 자체를 제공합니다. Hadoop도 예외는 아니며 Hadoop 2.0이 나왔습니다. Apache 재단은 Hadoop 2.1.0, Hadoop 2.4.0과 같은 Hadoop의 후속 버전을 출시했으며 2014 년 9 월에 출시 된 최신 버전 인 Hadoop 2.5.1에 도달했습니다.
Hadoop 2가 출시 된 이유는 무엇입니까?
새 버전에는 추가 기능과 수정 된 버그가 있습니다. 따라서 특정 버전의 Hadoop을 사용하고 특정 기능을 추가 할 수 있거나 일부 버그를 수정해야한다고 생각할 때마다 Apache 재단 직원에게 알립니다. 이 사람들은 차례로 작업하고 다음 버전에서 더 나은 제품을 제공합니다.
Hadoop 2 – 단순한 숫자가 아닙니다.
Hadoop 2는 단지 최신 버전의 Hadoop이 아닙니다. 대체로 2 세대 아키텍처입니다. Hadoop 유통 업체 인 Hortonworks의 창립자이자 설계자 인 Arun Murthy는 Hadoop을 일괄 처리를 넘어 실시간 분석의 세계로 옮기는 데 필요한 리엔지니어링의 양이 상당했기 때문에 구별이 중요하다고 주장합니다.
Hadoop 2.0이 이전 버전 인 Hadoop 1.0과 어떻게 다른지 살펴 보겠습니다. 분명히 나중에 출시 된 버전이 이전 버전보다 우수 할 것입니다. 다음은 Hadoop 1.x에 비해 Hadoop 2.0의 네 가지 주요 개선 사항입니다.
HDFS 연합 – NameNode의 수평 적 확장 성
NameNode 고 가용성 – NameNode는 더 이상 단일 장애 지점이 아닙니다.
YARN – MPI, GIRAPH와 같은 Non-MapReduce 애플리케이션을 사용하여 HDFS에서 사용 가능한 테라 바이트 및 페타 바이트의 데이터를 처리하는 기능
리소스 관리자 – 과부하 된 JobTracker (리소스 관리 및 작업 예약 / 모니터링)의 두 가지 주요 기능을 두 개의 개별 데몬 인 글로벌 리소스 관리자와 애플리케이션 별 ApplicationMaster로 분할합니다.
용량 스케줄러 (Hadoop에서 다중 테넌시 지원 활성화), 데이터 스냅 샷, Windows 지원, NFS 액세스와 같은 추가 기능이있어 빅 데이터 문제를 해결하기 위해 업계에서 Hadoop 채택을 늘릴 수 있습니다.
Hadoop 2.X 대 Hadoop 1.X
작은 비교를 통해 Hadoop 2.0이 Hadoop 1.0과 어떤 점에서 더 좋고 다른지 살펴 보겠습니다.
Hadoop 1.0보다 Hadoop 2가 선호되는 이유는 무엇입니까?
Hadoop 2.0은 Hadoop 에코 시스템의 관련 기술에 도움이되는 성능 향상을 제공합니다. HDFS 및 2 세대 아키텍처 (YARN)의 획기적인 기능 외에도 Hadoop 1.0보다 Hadoop 2를 선호하는 이유가 점점 더 많아지고 있습니다.
Hadoop 2에는 더 이상 언어 제한이 없습니다. 즉, 이제 다양한 전문가가 Hadoop을 사용할 수 있습니다.
Hadoop 2를 사용하면 MapReduce 코더 부족과 같은 장애물이 극복됩니다.
Hadoop 1.0보다 2 배 빠름
기존 하드웨어로 2 배의 ROI.
YARN을 사용하면 애플리케이션 프로그래밍 인터페이스가 훨씬 더 개방적이고 유연합니다.
Hadoop 2는 빅 데이터 프로젝트에서 Hadoop 사용 가능성을 확장합니다.
Hadoop 2를 사용하여 개발자는 이제 Hadoop의 이전 일괄 처리 범위를 넘어서 매우 다양한 데이터 처리 작업을 수행 할 수 있습니다.
정보 관리자에게 새로운 기회를 제공하고 이전 버전의 단점을 해결합니다.
이 새 릴리스에는 동일한 Hadoop 클러스터에서 여러 워크로드를 실행하는 고유 한 기능이 있습니다.
Hadoop은 더 이상 하나의 기능으로 제한되지 않습니다. 그 응용 프로그램은 이제 HDFS 및 MapReduce를 넘어 확장됩니다.
java int로 double 변경
YARN의 주요 이점
우리는 YARN이 2 세대 아키텍처라는 것을 알고 있습니다. 그 이유를 알아 보겠습니다.
규모
새로운 프로그래밍 모델 및 서비스
향상된 클러스터 사용
민첩
자바보다 훨씬 더
그리고 더 많은
Hadoop 2 기술에 대한 수요
조직은 이제 Hadoop 2를 시작하거나 실험하고 있습니다. 따라서 Hadoop 2에 능숙한 전문가가 필요합니다. 많은 조직은 이미 내부적으로 사람들이 Hadoop으로 작업 할 수있는 방법을 찾기 시작했습니다. YARN이 증가하고 있으며 결국 MapReduce 기술에 대한 수요를 대체 할 것이라는 분명한 징후가 있습니다.
다음은 Hadoop 기술에 대한 현재 및 예상 수요에 대한 몇 가지 견해입니다.
Gartner의 분석가에 따르면 Hadoop 2는 전 세계의 대기업에서 Hadoop이 빅 데이터 관리의 판도를 바꿀 수 있다는 사실을 알게되면서 매우 중요한 개발입니다.
Bloor 그룹의 Eric Kavanagh에 따르면 Hadoop 2.0은 빅 데이터를 엉망으로 만드는 정보 근로자들 사이에서 인기를 얻고 있습니다.
Hadoop 2.0 채택은 계속 증가하고 있으며 이제 성숙 단계에 접어 들고 있습니다.
조직은 YARN의 이점을 알고 있으며 이에 대해 기대하고 있습니다.
다음은 Hadoop 2.0 / YARN의 채용 정보입니다. Indeed.com
누가 Hadoop 2로 전환하거나 이미 사용하고 있습니까?
야후:
야후! , Hadoop이 YARN (0.23.x)을 구현 한 모든 것의 선두 주자입니다. Murthy에 따르면 Yahoo의 35,000 개 노드 클러스터는 이제 YARN 이전의 50-60 개 작업에 비해 매일 130-150 개의 작업을 처리합니다.
뛰어난 성능에 대해 Murthy는 '노드가 35,000 ~ 40,000 개를 2 배 이상 확보하면 경이 롭습니다'라고 말합니다. 그는 또한 'CIO에게 Hadoop 1에서 Hadoop 2로 소프트웨어를 업그레이드하면 작업 처리량이 2 배 향상된다는 것을 알 수 있다는 사실은 매우 설득력있는 이야기입니다.'라고 덧붙였습니다.
이베이 :
eBay는 데이터가 페타 바이트 단위 인 업계에서 가장 큰 Hadoop 클러스터 중 하나를 보유하고 있습니다. 또한 클러스터를 Hadoop 2로 마이그레이션했습니다.
결론:
Hadoop 2가 성숙하고 구현하기 쉬워 짐에 따라 회의론자들을 설득하고 점점 더 많은 조직이 Hadoop 2.0으로 마이그레이션하고 있습니다. 1.x 버전을 피해야하는 타당한 이유가 있습니다. 그러나 Hadoop 2를 사용하면 믿지 않는 사람들도 다양한 용도로 사용할 수 있기 때문에이를 고려하고 있습니다. Hadoop 2.0을 배우고이를 구현하여 빅 데이터에 대한 계산을 수행하면 기술적으로 발전하고 재정적으로 보람있는 경력을 쌓을 수 있습니다.
질문이 있으십니까? 댓글 섹션에 언급 해 주시면 다시 연락 드리겠습니다.
관련 게시물: