Apache Spark 및 Scala를 사용한 빅 데이터 처리



Apache Spark는 빅 데이터 처리 분야에서 큰 발전을 이루었습니다.

자바에서 불변 객체는 무엇입니까

IST : 2014 년 10 월 17 일 오전 7:00-오전 08:00





PDT : 2014 년 10 월 16 일 오후 6:30 – 오후 7:30

한정석 !! 오른쪽에있는 양식을 작성하고 오늘 슬롯을 예약하십시오.



안녕하세요. 2014 년 10 월 18 일 Apache Spark 및 Scala에 대한 무료 웹 세미나를 진행합니다. 웨비나 제목은 'Apache Spark 및 Scala를 사용한 빅 데이터 처리' . 이 웨비나에서는 Apache Spark 및 Scala와 관련된 필수 항목에 대해 설명합니다. 세션 중에 질문이나 의심을 명확히 할 수 있습니다.

다룰 주제 :

  • 빅 데이터 란?
  • Spark 란 무엇입니까?
  • 왜 스파크인가?
  • Spark 생태계
  • Scala에 대한 참고 사항
  • 왜 스칼라인가?
  • Hello Spark – 실습

왜 스파크인가?

Apache Spark는 Hadoop 커뮤니티 클러스터를위한 오픈 소스 클러스터 컴퓨팅 프레임 워크입니다. 타의 추종을 불허하는 속도, 사용 편의성 및 정교한 분석을 통해 대규모 데이터를위한 최고의 데이터 분석 및 처리 엔진 중 하나가 될 수 있습니다. 다음은 Apache Spark를 운영 및 조사 분석에 대한 크로스 오버 히트로 만드는 장점과 기능입니다.

  • Spark를 통해 개발 된 프로그램은 Hadoop MapReduce에서 개발 된 프로그램보다 100 배 빠르게 실행됩니다.
  • Spark는 80 개의 상위 수준 연산자를 컴파일합니다.
  • Spark Streaming은 실시간 데이터 처리를 가능하게합니다.
  • GraphX는 그래픽 계산을위한 라이브러리입니다.
  • MLib는 Spark 용 기계 학습 라이브러리입니다.
  • 주로 Scala로 작성된 Spark는 JVM 기반 운영 시스템에 내장 될 수 있으며 동시에 REPL (Read, Evaluate, Process and Load) 방식으로도 사용할 수 있습니다.
  • 강력한 캐싱 및 디스크 지속 기능이 있습니다.
  • Spark SQL을 사용하면 SQL 쿼리를 능숙하게 처리 할 수 ​​있습니다.
  • Apache Spark는 Apache Mesos, HDFS의 Yarn, HBase, Cassandra 또는 Spark Cluster Manager (Spark의 자체 클러스터 관리자)를 통해 배포 할 수 있습니다.
  • Spark는 Scala의 기능적 스타일 및 컬렉션 API를 시뮬레이션하므로 Scala 및 Java 개발자에게 큰 이점입니다.

Apache Spark의 필요성 :

Spark는 속도, 수행 할 수있는 다양한 작업, 유연성, 품질 데이터 분석, 비용 효율성 등의 측면에서 업계에 엄청난 이점을 제공하고 있습니다. IT 산업에 고급 실시간 빅 데이터 분석 솔루션을 제공하여 증가하는 고객 요구를 충족합니다. 실시간 분석은 비즈니스 기능을 힙에 활용합니다. Hadoop과의 호환성 덕분에 회사는이를 매우 쉽게 채택 할 수 있습니다. 점점 더 많이 채택되고있는 비교적 새로운 기술이기 때문에 Spark에서 배운 전문가와 개발자가 절실히 필요합니다.