우리 모두가 알고 있듯이 Hadoop은 빅 데이터의 포스터 소년입니다. Hadoop은 엄청난 양의 데이터를 처리 할 수있는 소프트웨어 프레임 워크로서 CIO 유행어 목록의 최상위에 올랐습니다.
그러나 인 메모리 스택의 전례없는 증가로 인해 분석을위한 새로운 대안으로 빅 데이터 생태계가 도입되었습니다. MapReduce 분석 방식은 Hadoop 프레임 워크 내부와 외부 모두에서 분석을 허용하는 새로운 접근 방식으로 대체되고 있습니다. Apache Spark는 빅 데이터 분석의 새로운 얼굴입니다.
빅 데이터 애호가들은 Apache Spark를 세계에서 가장 인기있는 빅 데이터 용 데이터 컴퓨팅 엔진으로 인증했습니다. 맵리 듀스와 자바를 그들의 위치에서 빠르게 빼내고 있으며, 직업 트렌드는 이러한 변화를 반영하고 있습니다. TypeSafe의 설문 조사에 따르면 글로벌 Java 개발자의 71 %가 현재 Spark를 평가하거나 연구하고 있으며, 그중 35 %는 이미 사용을 시작했습니다. Spark 전문가는 현재 수요가 많으며 앞으로 몇 주 내에 Spark 관련 취업 기회의 수가 지붕을 통과 할 것으로 예상됩니다.
그렇다면 Apache Spark가 모든 CIO의 할 일 목록 위에 표시되는 것은 무엇입니까?
최고의 자바 IDE는 무엇입니까
다음은 Apache Spark의 몇 가지 흥미로운 기능입니다.
- Hadoop 통합 – Spark는 HDFS에 저장된 파일로 작업 할 수 있습니다.
- Spark의 대화 형 셸 – Spark는 Scala로 작성되었으며 자체 버전의 Scala 인터프리터가 있습니다.
- Spark의 분석 제품군 – Spark는 대화 형 쿼리 분석, 대규모 그래프 처리 및 분석, 실시간 분석을위한 도구와 함께 제공됩니다.
- 탄력적 인 분산 데이터 세트 (RDD) – RDD는 컴퓨팅 노드 클러스터에서 메모리 내 캐시 될 수있는 분산 개체입니다. Spark에서 사용되는 기본 데이터 개체입니다.
- 분산 연산자 – MapReduce 외에도 RDD에서 사용할 수있는 다른 많은 연산자가 있습니다.
NASA, Yahoo 및 Adobe와 같은 조직은 Spark에 전념했습니다. Databricks의 Alliances 및 Ecosystem Lead 인 John Tripier는 다음과 같이 말해야합니다. 다음 소송”. Hadoop에 대한 배경 지식이 있다면 Spark를 배우기에 더할 나위없이 좋은시기입니다.
Edureka는 실제 업계 실무자들이 공동으로 만든 Apache Spark 및 Scala 강좌를 특별히 큐레이팅했습니다. 업계 관련 프로젝트와 함께 차별화 된 라이브 e- 러닝 경험을 얻으려면 교육 과정을 확인하십시오. 새로운 배치가 곧 시작되므로 여기에서 과정을 확인하십시오. .
질문이 있으십니까? 의견란에 언급 해 주시면 연락 드리겠습니다.
관련 게시물:
객체 배열 생성 자바