이 게시물에서는 Linux에 Apache Pig 설치 . Apache Pig 및 Pig Latin의 기본 정의부터 시작하겠습니다.
Apache Pig Hadoop에서 사용하는 Map Reduce 프로그램을 생성하고 실행하기위한 도구 / 플랫폼입니다. 대규모 데이터 세트를 분석하기위한 도구 / 플랫폼입니다. Apache Pig는 MapReduce에 대한 추상화라고 말할 수 있습니다. Java를 잘 모르는 프로그래머는 주로 MapReduce 작업을 작성하는 동안 Hadoop 작업에 어려움을 겪었습니다.따라서 배우고 숙달해야하는 중요한 주제입니다. .Apache Pig에는 자체 언어가 있습니다. 돼지 라틴 이는 가난한 프로그래머에게 유익합니다.
Pig Latin에 대한 기본 소개는 다음과 같이 더 잘 이해하는 데 도움이됩니다.
Apache Pig 플랫폼에서 사용되는 고급 절차 언어는 다음과 같습니다. 돼지 라틴 . Apache Pig는 HDFS (Hadoop File System)의 분산 데이터 세트에서 실행할 수있는 비교적 간단한 언어 인 'Pig Latin'을 특징으로합니다. Apache Pig에서는 Pig 스크립트를 실행할 때 MapReduce 작업으로 변환되는 Pig 라틴어를 사용하여 Pig 스크립트를 작성해야합니다.. Apache Pig에는 데이터 읽기, 쓰기, 처리와 같은 작업을 수행하는 데 사용되는 다양한 연산자가 있습니다. Apache Pig 연산자에 대해 알아 보려면 블로그 ' Apache Pig의 연산자 : 파트 1- 관계형 연산자 ”.
이제 Apache Pig에 대한 기본적인 이해를 마쳤으므로 Linux에서 Apache Pig 설치를 시작하겠습니다.
Linux에 Apache Pig 설치 :
다음은 Linux에서 Apache Pig 설치 단계입니다. (Linux VM을 사용하는 ubuntu / centos / windows). 아래 설정에서 Ubuntu 16.04를 사용하고 있습니다.
자바의 제어 흐름 문
1 단계: 다운로드 돼지 타르 파일.
명령: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
2 단계: 추출 타르 tar 명령을 사용하여 파일. 아래 tar 명령에서 엑스 아카이브 파일을 추출하는 것을 의미합니다. 와 gzip을 통해 아카이브를 필터링하는 것을 의미합니다. 에프 아카이브 파일의 파일 이름을 의미합니다.
명령: tar -xzf pig-0.16.0.tar.gz
명령: ls
3 단계 : ' .bashrc ”파일을 사용하여 Apache Pig의 환경 변수를 업데이트합니다. 어떤 디렉토리에서든 pig에 액세스 할 수 있도록 설정하고 있으며 pig 명령을 실행하기 위해 pig 디렉토리로 이동할 필요가 없습니다. 또한 다른 응용 프로그램이 Pig를 찾고 있다면이 파일에서 Apache Pig의 경로를 알게됩니다.
명령: sudo gedit .bashrc
파일 끝에 다음을 추가하십시오.
# PIG_HOME 설정
내보내기 PIG_HOME = / home / edureka / pig-0.16.0
내보내기 PATH = $ PATH : /home/edureka/pig-0.16.0/bin
내보내기 PIG_CLASSPATH = $ HADOOP_CONF_DIR
또한 hadoop 경로도 설정되어 있는지 확인하십시오.
아래 명령을 실행하여 동일한 터미널에서 변경 사항을 업데이트하십시오.
명령: 소스 .bashrc
4 단계 : 돼지 버전을 확인하십시오. Apache Pig가 올바르게 설치되었는지 테스트하기위한 것입니다. Apache Pig 버전을받지 못한 경우 위 단계를 올바르게 수행했는지 확인해야합니다.
명령: 돼지 버전
자바의 이진 검색 알고리즘
5 단계 :모든 pig 명령 옵션을 보려면 pig 도움말을 확인하십시오.
명령: 돼지-도움
6 단계 :Pig를 실행하여 grunt 셸을 시작하십시오. Grunt 쉘은 Pig Latin 스크립트를 실행하는 데 사용됩니다.
명령: 돼지
위의 이미지를 올바르게 보면 Apache Pig에는 실행할 수있는 두 가지 모드가 있으며 기본적으로 MapReduce 모드를 선택합니다. Pig를 실행할 수있는 다른 모드는 로컬 모드입니다. 이에 대해 더 자세히 말씀 드리겠습니다.
Apache Pig의 실행 모드 :
- MapReduce 모드 – 이것은 Hadoop 클러스터 및 HDFS 설치에 대한 액세스가 필요한 기본 모드입니다. 기본 모드이므로 -x 플래그를 지정할 필요가 없습니다 ( 돼지 또는 돼지 -x 맵리 듀스 ). 이 모드의 입력 및 출력은 HDFS에 있습니다.
- 로컬 모드 – 단일 시스템에 액세스하면 모든 파일이 로컬 호스트 및 파일 시스템을 사용하여 설치 및 실행됩니다. 여기서 로컬 모드는‘-x 플래그’( 돼지 -x 지역 ). 이 모드의 입력 및 출력은 로컬 파일 시스템에 있습니다.
명령: 돼지 -x 지역
아래 비디오를 통해 Linux에서 Apache Pig 설치를 볼 수 있습니다.
Apache Pig 설치 | Linux에 Pig 설치 | Edureka
이제 Linux에서 Apache Pig 설치를 마쳤으므로 다음 단계는 Pig Grunt 셸에서 관계형 Pig 연산자를 사용해 보는 것입니다. 따라서 다음 블로그 ' Apache Pig의 연산자 : 파트 1- 관계형 연산자 ”는 Pig 운영자를 마스터하는 데 도움이됩니다.
이제 Linux에 Apache Pig를 설치 했으므로 전 세계에 걸쳐 250,000 명 이상의 만족 한 학습자 네트워크를 보유한 신뢰할 수있는 온라인 학습 회사 인 Edureka에서 작성했습니다. Edureka BigData Hadoop 인증 교육 과정은 학습자가 소매, 소셜 미디어, 항공, 관광, 금융 도메인에서 실시간 사용 사례를 사용하여 HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume 및 Sqoop의 전문가가 될 수 있도록 도와줍니다.
질문이 있으십니까? 의견란에 언급 해 주시면 연락 드리겠습니다.