Apache Falcon : Hadoop 생태계를위한 새로운 데이터 관리 플랫폼



Apache Falcon은 Hadoop 클러스터에서 온 보딩 피드 처리 및 피드 관리를 단순화하는 Hadoop 에코 시스템을위한 새로운 데이터 관리 플랫폼입니다. 설정 방법을 알아보십시오.

Apache Falcon은 Hadoop 클러스터에서 데이터 수명주기를 관리하기위한 프레임 워크입니다. Hadoop 환경에서 다양한 데이터와 처리 요소 간의 관계를 설정하고 피드 보존, 클러스터 간 복제, 보관 등과 같은 피드 관리 서비스도 제공합니다.





먼저 Apache Falcon을 설정하는 방법에 대해 논의하겠습니다. Falcon의 git 저장소를 다운로드하려면 아래 명령을 실행하십시오.

명령: git clone https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

팔콘을 실행하려면 먼저 빌드해야합니다.

명령: cd 팔콘



명령: export MAVEN_OPTS =”-Xmx1024m -XX : MaxPermSize = 256m -noverify”&& mvn clean install -DskipTests

명령: mvn clean 어셈블리 : assembly -DskipTests -DskipITs

falcon을 빌드하면 / falcon / distro / target / 디렉토리에서 falcon 패키지를 찾을 수 있습니다.

팔콘을 만드는 명령은 매우 쉬워 보이지만 Build Success 메시지를보기 전에 많은 문제에 직면하게됩니다. Hadoop-2.2.0 용으로 빌드하는 동안 많은 문제에 직면했습니다.

따라서 Falcon 빌드의 고통을 건너 뛰기 위해 아래 링크를 사용하여 다운로드 할 수있는 성공적으로 빌드 된 falcon 패키지를 제공합니다.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

falcon-0.10 디렉토리를 얻으려면 파일의 압축을 풉니 다.

명령: falcon-0.10-SNAPSHOT.zip의 압축을 풉니 다.

.bashrc 파일에서 flacon 환경 변수를 설정합니다.

명령: sudo gedit .bashrc

명령: 소스 .bashrc

falcon 디렉토리로 이동하여 그 안의 파일과 디렉토리를 볼 수 있습니다.

명령: cd 팔콘 -0.10-SNAPSHOT /

명령: ls

bin 디렉토리에서 팔콘 스크립트를 찾을 수 있습니다.

Falcon을 시작하려면 아래 명령을 실행하십시오.

명령: ./bin/falcon-start

이제 새로운 데몬 FalconServer가 실행되는 것을 볼 수 있습니다.

명령 : jps

명령: ./bin/falcon admin -version

브라우저를 열고 localhost : 15000 . Falcon 웹 UI를 볼 수 있습니다.

질문이 있으십니까? 댓글 섹션에서이를 언급하면 ​​다시 연락 드리겠습니다.

관련 게시물:

자바에서 메소드를 종료하는 방법

Apache Drill에서 드릴 다운