우리는 방법을 배웠습니다 Spark에서 Hive 및 Yarn 빌드 . 이제 Spark에서 Hive 및 Yarn 예제를 사용해 보겠습니다.
Spark의 Hive 예제
Spark에서 Hive의 예를 실행합니다. 테이블을 만들고 해당 테이블에 데이터를로드하고 간단한 쿼리를 실행합니다. Hive로 작업 할 때 하나는 HiveContext 상속받은 SQLContext .
명령: cd 스파크 -1.1.1
명령: ./bin/spark-shell
입력 파일 만들기 '견본' 아래 스냅 샷 (탭으로 구분)과 같이 홈 디렉토리에 있습니다.
피보나치 함수 C ++
명령: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
명령: sqlContext.sql (“CREATE TABLE IF NOT EXISTS test (name STRING, rank INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY‘‘LINES TERMINATED BY‘
‘”)
명령: sqlContext.sql (“LOAD DATA LOCAL INPATH‘/ home / edureka / sample’INTO TABLE test”)
명령: sqlContext.sql (“SELECT * FROM test WHERE rank<5”).collect().foreach(println)
Spark의 원사 예
Yarn에서 SparkPi 예제를 실행합니다. Spark에 Yarn을 클러스터 모드와 클라이언트 모드의 두 가지 모드로 배포 할 수 있습니다. yarn-cluster 모드에서 Spark 드라이버는 클러스터의 Yarn에서 관리하는 애플리케이션 마스터 프로세스 내에서 실행되며 클라이언트는 애플리케이션을 시작한 후 사라질 수 있습니다. yarn-client 모드에서 드라이버는 클라이언트 프로세스에서 실행되고 응용 프로그램 마스터는 Yarn에서 리소스를 요청하는 데만 사용됩니다.
명령: cd 스파크 -1.1.1
명령: SPARK_JAR =. / assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
위의 명령을 실행 한 후에는 성공 메시지.
검색 localhost : 8088 / cluster Spark 애플리케이션을 클릭합니다.
클릭 로그 .
클릭 stdout 출력을 확인하십시오.
자바에서 던지기와 던지기의 차이점
클라이언트 모드에서 Spark에 Yarn을 배포하려면 – 배포 모드 같이 '고객'. 이제 Spark에서 Hive 및 Yarn을 빌드하는 방법을 알았습니다. 우리는 그들에게도 실용적이었습니다.
질문이 있으십니까? 댓글 섹션에 언급 해 주시면 다시 연락 드리겠습니다.
관련 게시물
Hive & Yarn은 Spark로 전기를 공급받습니다.