당신이 이미에서 온 경우 IT 산업 , 당신은 알고 있어야합니다 빅 데이터 오늘의 이야기입니다. 혁신적인 비즈니스 모델을 내놓는 신생 스타트 업이든, 어떤 이유로 든 오늘날의 스타트 업에 합류하기 위해 전진하는 동료들은 푸른 목장 것 같다 빅 데이터 산업.
이유가 궁금하신 분은이 글을 끝까지 읽어 보시기 바랍니다.이 블로그는 자신이 원하는 대상으로 이끄는 자기 탐색 블로그가 될 수 있기 때문입니다.
그래서이 모든 것이HYPE주변 빅 데이터?
일시적으로 다른 모든 도메인에서 난민을 영입 할 또 다른 도메인일까요? 아니면 장거리를 위해 여기에 있습니까?
제가 추측을한다면 장기적으로 여기에있을뿐만 아니라 빅 데이터 산업이 기술 발전의 진원지에있을 것입니다.
모든 것이데이터!
태양처럼상승~로부터동쪽과세트에서부, 컴퓨팅 / 비 컴퓨팅 장치를 계속 사용하면 관리 할 수없는 데이터가 폭주하게됩니다.
이 데이터가 Excel 또는 데이터베이스 관리 시스템에서 처리되는 임계 값을 초과하면이를 빅 데이터 .
Amazon에서 마지막으로 구입 한 제품이 무엇 이었습니까? 과거 활동을 기반으로 구매할 수있는 다음 제품은 무엇입니까? 이러한 질문에 대한 답변은 빅 데이터에 저장됩니다.
제품 뒤에 성장 추세가 있습니까? 아니면 감소 추세가 있습니까? 고객이 '신발'을 구매할 때 '스타킹'을 구매합니까? 이것은 비즈니스 문제 해결 질문입니다.
그리고 이러한 질문은 답변 사용하여 빅 데이터 분석 .
결국 데이터 사용은 무엇입니까? 분석하는 그것?
그래서 빅 데이터입니다완전히해석학?완전하지는 않지만 분석은 궁극적 인 상품입니다.
빅 데이터의 다른 주요 흐름은 다음과 같습니다.저장과조치.
전문가로서 여러분이 기여할 수있는 곳입니다. 다음 중 하나의 역할을 맡을 수 있습니다.
- 빅 데이터 엔지니어
- 빅 데이터 솔루션 설계자
그리고 생성 된 빅 데이터가 항상 사용 가능하고 나중에 분석에 사용될 수 있는지 확인하십시오. 그래서 이것은 우리에게 질문 & 헬립
빅 데이터는 어디에 저장 되나요?
그것은에 저장할 수 있습니까엑셀 파일? 그것은에 저장할 수 있습니까관계형 데이터베이스 시스템?
지옥, 안돼!
그럴 수 있었다면 그랬을 것입니다!
그리고 모두 함께 다른 이름으로 불립니다. 어쩌면 뭔가엑셀 데이터또는RDBMS- 데이터:디
그리고 그것은 우리를 다시 1 단계 :-Excel로 빅 데이터를 관리 할 수없는 이유는 무엇입니까? 때문에빅 데이터는 Excel에서 처리하기에는 너무 뜨겁습니다.. 사실 다른 데이터베이스 관리 시스템도 있습니다.
그렇다면 대안은 무엇입니까?
빅 데이터를 처리하기 위해 우리는 하둡 . 당신도이 단어를 알고있을 것입니다. 그러나 정확히 어떻게 작동하는지 궁금 할 수 있습니다.
우선, HADOOP은APACHE 재단. Apache는 오픈 소스 소프트웨어 개발을 지원하는 미국의 비영리 단체입니다.
Hadoop은 분산 컴퓨팅 환경에서 매우 큰 데이터 세트의 처리 및 저장을 지원하는 오픈 소스 Java 기반 프로그래밍 프레임 워크로 정의됩니다.
Java 플랫폼의 구성 요소는 무엇입니까?
Hadoop은 무엇을 할 수 있지만 Excel은 할 수 없습니까?
비정형 데이터 처리 및 이해!표 형식이거나 다른 방식으로 쉽게 처리 할 수있는 구조화 된 데이터. Excel에서 할 수 있고 다른 RDBMS도 할 수 있습니다.
하지만 가독성이 떨어지고 데이터가 구조화되지 않은 경우 빅 데이터가Hadoop과 같은 도구점수. 비정형 데이터의 예는 다음과 같습니다. syslog . 샘플 이미지는 다음과 같습니다.
이러한 로그는 Excel을 사용하여 쿼리 할 수 없습니다.
빅 데이터 도구와 마찬가지로 Hadoop은 패턴을 발굴하고 다양한 분야 간의 관계를 형성하여 데이터를있는 그대로 이해할 수 있습니다. 데이터가 관계형 터치를 갖게되면분석 준비.
분석은 조직에 비즈니스 영향을 미칠 것입니다! 귀하의 경력은이 빅 데이터 도메인에 참여함으로써 크게 도움이 될 것입니다.
' Hadoop-er로 만들 수 있습니까? '
… 당신의 마음에 다음 질문이 될 수 있습니다. 그리고 당연히 빅 데이터는 그 어느 때보 다 뜨겁고 중요한 시장입니다.
Hadoop이 없다면 기업은 빅 데이터를 다루는 데 어려움을 겪을 것입니다. 그리고 여러분과 같은 숙련 된 전문가가 없다면 기업은 Hadoop을 다루는 데 어려움을 겪을 것입니다.
이 분야에 재능이 부족하다는 보고서가 있는데, 재능이 부족하다는 것은 전문가는 적지 만 수요는 높다는 것을 의미합니다. 그리고 이것은 글로벌 규모이며 특정 지역에 국한되지 않습니다.
숫자를 원하십니까?
에 맥킨지 글로벌 연구소 연구에 따르면 미국은 2018 년까지 빅 데이터를 사용하여 이해하고 의사 결정을 내릴 수있는 약 190,000 명의 데이터 과학자와 150 만 명의 관리자 및 분석가 부족에 직면 할 것입니다.
당신에게 직업 조언? 조수가 낮을 때 서핑!
하지만 당신은 한정된 에게만 하둡 ?
별로. 빅 데이터를 처리하기위한 여러 도구가 있으며 Hadoop은 최고의 도구 중 하나로 간주됩니다. 그러나 매번은 아닙니다!
Hadoop이 가장 적합하지 않은 경우가 있습니다. 예를 들어, MapReduce 프로그램을 작성하는 데 능숙하지 않은 비 기술적 인 사람이라면.
이러한 경우 다음을 사용할 수 있습니다.TALEND, MapReduce를 사용하여했던 모든 작업을 수행 할 수있는 그래픽 사용자 인터페이스를 제공합니다.
더 간단한 Java 코드를 작성하려면 다음을 사용할 수 있습니다.돼지.
빅 데이터에서 SQL과 유사한 쿼리를 실행하려면하이브사용할 수 있습니다.
NoSQL 데이터베이스에 저장된 데이터를 사용하려면HBase사용할 수 있습니다.
실시간으로 분석을 수행하려면 다음을 사용할 수 있습니다.불꽃.
이들은 Hadoop과 함께 사용되는 빅 데이터 도구이지만 Hadoop을 대체하지는 않습니다. 빅 데이터를위한 Hadoop 추가 기능입니다.
또한 다양한 비즈니스 문제를 해결하기 위해 Hadoop 프레임 워크와 통합 할 수있는 SQOOP, FLUME, OOZIE 등과 같은 몇 가지 도구가 더 있습니다.
업계는 빅 데이터 전문가로서 귀하에게 무엇을 기대합니까?
업계는 빅 데이터 아키텍처 조직을위한 엔드 투 엔드 빅 데이터 솔루션을 구축 할 수 있습니다. 빅 데이터 아키텍트는 앞서 언급 한 모든 도구에 대한 전문 지식을 갖춘 사람들입니다.
다음은 Edureka 학습자의 증언입니다. 강좌:
되기 학습자가 소매, 소셜 미디어, 항공, 관광, 금융 도메인의 실시간 사용 사례를 사용하여 HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume 및 Sqoop의 전문가가되도록 돕는 Edureka의 빅 데이터 및 Hadoop 인증 교육에서 시작 .