Ubuntu에 Apache Hive 설치



이 블로그에서는 Ubuntu에 Apache Hive 설치 및 Hadoop Hive, Hive SQL, Hive 데이터베이스, Hive 서버 및 Hive 설치에 대한 개념에 대해 알아 봅니다.

Apache Hive는 Hadoop 에코 시스템에서 가장 중요한 프레임 워크 중 하나입니다. . 이 블로그에서는 Ubuntu에 Apache Hive 및 Hive 설치에 대해 알아 봅니다.

Apache Hive 란 무엇입니까?

Apache Hive 분산 스토리지 시스템에있는 대용량 데이터 세트를 쉽게 쿼리하고 관리 할 수있는 데이터웨어 하우스 인프라입니다. Hadoop을 기반으로 구축되었으며 Facebook에서 개발했습니다. 하이브 SQL과 유사한 쿼리 언어를 사용하여 데이터를 쿼리하는 방법을 제공합니다. HiveQL (Hive 쿼리 언어).





내부적으로 컴파일러는 HiveQL 진술서 MapReduce 작업은 다음으로 제출됩니다. Hadoop 프레임 워크 실행을 위해.

Hive와 SQL의 차이점 :

하이브 기존 데이터베이스와 매우 유사하게 보입니다. SQL 접속하다. 그러나 하이브 기반 하둡MapReduce 작업에는 몇 가지 주요 차이점이 있습니다.



Hadoop은 긴 순차 스캔 및 하이브 기반 하둡 , 쿼리의 지연 시간이 매우 길 것으로 예상됩니다. 그것은 하이브 기존 RDBMS 데이터베이스에서 예상 할 수있는 것처럼 매우 빠른 응답 시간이 필요한 애플리케이션에는 적합하지 않습니다.

드디어, 하이브 읽기 기반이므로 일반적으로 쓰기 작업의 비율이 높은 트랜잭션 처리에는 적합하지 않습니다.

오라클 PL SQL 오류 처리 모범 사례

Ubuntu에 Hive 설치 :

설치하려면 아래 단계를 따르십시오. Apache Hive Ubuntu에서 :



1 단계: 다운로드 하이브 타르.

명령: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz

2 단계: 추출 타르 파일.

명령: tar -xzf apache-hive-2.1.0-bin.tar.gz

명령: ls

Hive 파일 확산-Hive 설치-Edureka

3 단계 : 편집 “.bashrc” 사용자의 환경 변수를 업데이트하는 파일입니다.

명령: sudo gedit .bashrc

파일 끝에 다음을 추가하십시오.

# HIVE_HOME 설정

export HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
export PATH = $ PATH : /home/edureka/apache-hive-2.1.0-bin/bin

또한 hadoop 경로도 설정되어 있는지 확인하십시오.

아래 명령을 실행하여 동일한 터미널에서 변경 사항을 적용하십시오.

명령: 소스 .bashrc

4 단계 : 하이브 버전을 확인하십시오.

C ++에서 정렬을 사용하는 방법

5 단계 : 창조하다 하이브 디렉토리 HDFS . 디렉토리 '창고' 하이브와 관련된 테이블 또는 데이터를 저장할 위치입니다.

명령:

  • hdfs dfs -mkdir -p / user / hive / warehouse
  • hdfs dfs -mkdir / tmp

6 단계 : 테이블에 대한 읽기 / 쓰기 권한을 설정합니다.

명령:

이 명령에서는 그룹에 쓰기 권한을 부여합니다.

  • hdfs dfs -chmod g + w / user / hive / warehouse
  • hdfs dfs -chmod g + w / tmp

7 단계 : 세트 하둡 경로 h ive-env.sh

명령: cd apache-hive-2.1.0-bin /

명령: gedit conf / hive-env.sh

아래 스냅 샷과 같이 매개 변수를 설정합니다.

8 단계 : 편집하다 hive-site.xml

명령: gedit conf / hive-site.xml

javax.jdo.option.ConnectionURL jdbc : derby : databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC 메타 스토어에 대한 JDBC 연결 문자열입니다. SSL을 사용하여 연결을 암호화 / 인증하려면 연결 URL에 데이터베이스 별 SSL 플래그를 제공합니다. 예를 들어 postgres 데이터베이스의 경우 jdbc : postgresql : // myhost / db? ssl = true입니다. hive.metastore.warehouse.dir / user / hive / warehouse웨어 하우스에 대한 기본 데이터베이스의 위치 hive.metastore.uris 원격 메타 스토어에 대한 Thrift URI입니다. 메타 스토어 클라이언트에서 원격 메타 스토어에 연결하는 데 사용됩니다. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver JDBC 메타 스토어의 드라이버 클래스 이름 javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory 클래스 jdo 지속성을 구현

9 단계 : 기본적으로 Hive는 더비 데이터 베이스. Derby 데이터베이스를 초기화하십시오.

명령: bin / schematool -initSchema -dbType 더비

10 단계 :시작하다 하이브.

명령: 벌집

11 단계 :Hive 셸에서 몇 가지 쿼리를 실행합니다.

명령: 데이터베이스 표시

명령: 테이블 직원 (ID 문자열, 이름 문자열, 부서 문자열)을 생성합니다. 행 형식으로 구분 된 필드는 텍스트 파일로 저장된‘‘로 종료됩니다.

명령: 테이블보기

12 단계 : 종료하려면 하이브 :

명령: 출구

이제 Hive 설치가 완료되었으므로 다음 단계는 Hive 셸에서 Hive 명령을 시도하는 것입니다. 따라서 다음 블로그 ' HQL의 예제가 포함 된 상위 Hive 명령 ”은 Hive 명령을 마스터하는 데 도움이됩니다.

관련 게시물:

자바 객체 복제 방법

Hive 스크립트를 실행하는 방법은 무엇입니까?

Hive 명령

Apache Hive 소개