이 블로그에서는 특정 Hadoop 버전 용 Spark를 빌드하는 방법을 살펴 보겠습니다.
또한 HIVE 및 YARN을 사용하여 Spark를 빌드하는 방법을 배웁니다.
당신이 가지고 있다고 생각하면 하둡, jdk, mvn 과 가다 시스템에 사전 설치 및 사전 구성되어 있습니다.
열다 Mozilla 브라우저 및 다운로드 불꽃 아래 링크를 사용하십시오.
https://edureka.wistia.com/medias/k14eamzaza/
터미널을 엽니 다.
명령 : tar -xvf Downloads / spark-1.1.1.tgz
명령 : ls
spark-1.1.1 디렉토리를 엽니 다.
열 수 있습니다 pom.xml 파일. 이 파일은 모든 종속성 당신은 필요합니다.
문제가 발생하지 않도록 편집하지 마십시오.
qtp와 셀레늄의 차이
명령 : cd spark-1.1.1 /
명령 : sudo gedit sbt / sbt-launch-lib.bash
아래 스냅 샷과 같이 파일을 편집하고 저장 한 후 닫습니다.
아래 스냅 샷에서 언급 한 것처럼 객체 힙 공간 문제를 피하기 위해 메모리를 줄이고 있습니다.
이제 터미널에서 아래 명령을 실행하여 HIVE 및 YARN을 사용하여 Hadoop 2.2.0 용 스파크를 빌드합니다.
명령 : ./sbt/sbt -P 실 -피 벌집 -파둡 -2.2 -D hadoop.version = 2.2.0 -D skipTests 어셈블리
참고 : 내 Hadoop 버전은 2.2.0이며, Hadoop 버전에 따라 변경할 수 있습니다.
다른 Hadoop 버전의 경우
# Apache Hadoop 2.0.5- 알파
-Dhadoop.version = 2.0.5- 알파
# Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
컴파일 및 패키징에 다소 시간이 걸리므로 완료 될 때까지 기다리십시오.
두 개의 항아리 spark-assembly-1.1.1-hadoop2.2.0.jar 과 spark-examples-1.1.1-hadoop2.2.0.jar 생성됩니다.
경로 spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
경로 spark-examples-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
축하합니다. Hive & Yarn 용 Spark를 성공적으로 빌드했습니다.
질문이 있으십니까? 댓글 섹션에 언급 해 주시면 다시 연락 드리겠습니다.
관련 게시물:
Hadoop과 Apache Spark- 중요한 이유는 무엇입니까?