전체 우주와 우리 은하가 빅뱅 폭발로 인해 형성된 것처럼, 마찬가지로 수많은 기술 발전으로 인해 데이터도 기하 급수적으로 증가하여 빅 데이터 폭발로 이어졌습니다. 이 데이터는 다양한 소스에서 가져오고 다른 형식을 가지며 가변 속도로 생성되며 불일치를 포함 할 수도 있습니다. 따라서 이러한 데이터의 급증을 간단히 다음과 같이 표현할 수 있습니다. .빅 데이터 분석에 대한 통찰력을 제공하기 위해이 블로그에서 다음 주제를 설명하겠습니다.
왜 빅 데이터 분석인가?
내가 무엇에 대해 이야기하기 전에 분석, 왜 필요한지 알려 드리겠습니다. 또한 우리가 매일 약 2.5 조 바이트의 데이터를 생성한다는 사실을 여러분에게 공개하겠습니다! 이제 우리는 빅 데이터를 축적 했으므로이를 무시하거나 유휴 상태로 유지하여 낭비 할 수 없습니다.
전 세계의 다양한 조직과 부문에서 수많은 이점을 얻기 위해 빅 데이터 분석을 채택하기 시작했습니다. 빅 데이터 분석은 많은 기업이 행동으로 전환하고 막대한 수익을 창출하고 발견하는 통찰력을 제공합니다. 흥미로운 예와 함께 네 가지 이유를 나열하겠습니다.
첫 번째 이유는
- 더 스마트하고 효율적인 조직 만들기
그러한 조직 중 하나 인 뉴욕 경찰국 (NYPD)에 대해 말씀 드리겠습니다. NYPD는 빅 데이터와 분석을 훌륭하게 사용하여 범죄가 발생하기 전에 탐지하고 식별합니다. 그들은 과거의 체포 패턴을 분석 한 다음 연방 공휴일, 월급 날, 교통 흐름, 강우 등과 같은 이벤트로 매핑합니다.이는 이러한 데이터 패턴을 활용하여 정보를 즉시 분석하는 데 도움이됩니다. 빅 데이터 및 분석 전략도움범죄 장소를 식별하고이를 통해 경찰을이 장소에 배치합니다. 따라서 범죄가 발생하기 전에 이러한 위치에 도달함으로써 범죄 발생을 방지합니다.
- 고객 행동을 분석하여 비즈니스 운영 최적화 대부분의 조직은 고객 만족을 제공하여 고객 기반을 늘리기 위해 고객의 행동 분석을 사용합니다. 이에 대한 가장 좋은 예는 Amazon입니다. Amazon은 약 3 억 명의 고객 기반을 가진 가장 널리 사용되는 최고의 전자 상거래 웹 사이트 중 하나입니다. 그들은 고객 클릭 스트림 데이터와 과거 구매 데이터를 사용하여 맞춤형 웹 페이지에서 맞춤형 결과를 제공합니다. 분석하는 웹 사이트에서 모든 방문자의 클릭은 사이트 탐색 행동, 사용자가 제품을 구매하기 위해 택한 경로, 사이트를 떠난 경로 등을 이해하는 데 도움이됩니다. 이 모든 정보는 Amazon이 사용자 경험을 개선하여 판매 및 마케팅을 개선하는 데 도움이됩니다.
- 비용 절감 클라우드 컴퓨팅과 같은 빅 데이터 기술 및 기술 발전은 빅 데이터를 저장하고 처리 할 때 상당한 비용 이점을 가져옵니다. 의료 서비스에서 빅 데이터 분석을 활용하여 비용을 절감하는 방법을 알려 드리겠습니다. 오늘날 환자들은 집이나 외부에서 새로운 센서 장치를 사용하고 있습니다.이 장치는 환자가 자신의 상태를 스스로 관리하여 입원을 피할 수 있도록 실시간으로 모니터링 및 분석 할 수있는 지속적인 데이터 스트림을 전송합니다.입원 환자의 경우 의사는 예측 분석을 사용하여 결과를 최적화하고 재 입원을 줄일 수 있습니다.Parkland Hospital은 분석 및 예측 모델링을 사용하여 고위험 환자를 식별하고 환자가 집으로 돌아 오면 예상되는 결과를 예측합니다. 그 결과 Parkland는 심부전 환자의 30 일 재 입원을 31 % 줄였습니다., 연간 $ 500,000 절약.
차세대 제품
분석을 통해 고객의 요구와 만족도를 측정 할 수있는 능력을 통해 고객이 원하는 것을 제공 할 수 있습니다. 여기에서 인용 할 흥미로운 세 가지 제품을 찾았습니다. 먼저 , Google자율 주행 차주행 할 때마다 수백만 개의 계산을 수행하여 속도를 늦추거나 빠르게 할 것인지, 차선을 바꿀 것인지 여부, 차선 변경시기를 결정하는 데 도움이됩니다. 이는 운전자가 운전대에서 내리는 것과 동일한 결정입니다.
그만큼 둘째 하나는BigData Analytics를 전적으로 신뢰하여 대인기 쇼 House of Cards의 두 시즌을 약속 한 Netflix! 작년에 Netflix는 미국 구독자 기반을 10 % 늘렸고 전 세계에서 거의 2 천만 명의 구독자를 추가했습니다.
그만큼 제삼 예를 들어 제가 만난 정말 멋진 새로운 것 중 하나는 스마트 요가 매트입니다. Smart Mat를 처음 사용하면 일련의 움직임을 통해 몸매, 크기 및 개인 제한을 보정합니다. 이 개인 프로필 정보는 Smart Mat 앱에 저장되며 Smart Mat가 균형이 맞지 않거나 균형이 맞지 않는 경우를 감지하는 데 도움이됩니다. 시간이 지남에 따라 요가 연습을 향상시키면서 업데이트 된 데이터로 자동으로 진화합니다.
빅 데이터 분석이란 무엇입니까?
이제 '빅 데이터 분석이란 무엇입니까?'를 공식적으로 정의하겠습니다. 빅 데이터 분석은 크고 다양한 유형의 데이터를 검사하여 숨겨진 패턴, 상관 관계 및 기타 통찰력을 발견합니다. 기본적으로 빅 데이터 분석은 기업의 성장과 발전을 촉진하기 위해 주로 사용됩니다. 이것은 주로 주어진 데이터 세트에 다양한 데이터 마이닝 알고리즘을 적용하여 더 나은 의사 결정에 도움을줍니다.
빅 데이터 분석의 단계
다음은 빅 데이터 분석 프로세스와 관련된 다음 단계입니다.
빅 데이터 분석의 유형
네 가지 유형이 있습니다.
- 설명 적 분석 : 데이터 집계 및 데이터 마이닝을 사용하여 과거에 대한 통찰력을 제공하고 '무슨 일이 일어 났습니까?'라고 대답합니다. 설명 적 분석은 이름이 의미하는 바를 정확히 '설명'하거나 원시 데이터를 요약하여 사람이 해석 할 수 있도록합니다.
- 예측 분석 : 통계 모델과 예측 기법을 사용하여 미래를 이해하고“무슨 일이 일어날 수 있습니까?”라고 대답합니다. 예측 분석은 기업에 데이터를 기반으로 실행 가능한 통찰력을 제공합니다. 미래 결과의 가능성에 대한 추정치를 제공합니다.
- 처방 적 분석 : 최적화 및 시뮬레이션 알고리즘을 사용하여 가능한 결과 및 답변에 대한 조언을 제공합니다. '어떻게해야합니까?' 이를 통해 사용자는 다양한 가능한 작업을 '처방'하고 솔루션으로 안내 할 수 있습니다. 요컨대,이 분석은 조언을 제공하는 것입니다.
- 진단 분석 : 과거에 무슨 일이 일어 났는지 확인하는 데 사용됩니다. 드릴 다운, 데이터 검색, 데이터 마이닝 및 상관 관계와 같은 기술이 특징입니다. 진단 분석은 이벤트의 근본 원인을 이해하기 위해 데이터를 더 자세히 살펴 봅니다.
빅 데이터 도구
다음은 빅 데이터 분석에 사용되는 몇 가지 도구입니다. 하둡 , , Apache HBase , Apache Spark , , , Apache Hive , 카프카 .
빅 데이터 도메인
- 보건 의료: 의료 서비스는 빅 데이터 분석을 사용하여 비용을 절감하고 전염병을 예측하며 예방 가능한 질병을 예방하고 일반적으로 삶의 질을 개선합니다. 가장 널리 퍼진의료 분야에서 빅 데이터의 응용은 전자 건강 기록 (EHR)입니다.
- 텔레콤 : 그들은 빅 데이터에 가장 중요한 기여자 중 하나입니다. 통신 산업은 서비스 품질을 향상시키고트래픽을보다 효과적으로 라우팅합니다. 실시간으로 통화 데이터 기록을 분석함으로써 이러한 회사는 사기 행위를 식별하고 즉시 조치를 취할 수 있습니다. 마케팅 부서는 캠페인을 수정하여 고객을 더 잘 타겟팅하고 얻은 통찰력을 사용하여 새로운 제품과 서비스를 개발할 수 있습니다.
- 보험: 이러한 회사는 위험 평가, 사기 탐지, 마케팅, 고객 통찰력, 고객 경험 등을 위해 빅 데이터 분석을 사용합니다.
- 정부: 인도 정부는 빅 데이터 분석을 사용하여 국가의 무역을 추정했습니다. 그들은 Central 판매 세 송장을 사용하여 주들이 서로 거래하는 정도를 분석했습니다.
- 재원: 은행 및 금융 서비스 회사는 분석을 사용하여 합법적 인 비즈니스 거래와 사기성 상호 작용을 구분합니다. 분석 시스템은 부정 거래 차단과 같은 즉각적인 조치를 제안하여 사기가 발생하기 전에 차단하고 수익성을 향상시킵니다.
- 자동차: 롤스 로이스는 수백 개의 센서를 엔진과 추진 시스템에 장착하여 빅 데이터를 수용했습니다. 실시간으로 데이터의 변경 사항은 유지 보수 일정 수립 또는 엔지니어링 팀 파견과 같은 최선의 조치를 결정하는 엔지니어에게보고됩니다.
- 교육: 빅 데이터 분석이 천천히 점진적으로 흡수되는 분야입니다.전통적인 강의 방법 대신 학습 도구로 빅 데이터 기반 기술을 선택함으로써 학생들의 학습을 향상 시켰을뿐만 아니라 교사가 자신의 성과를 더 잘 추적 할 수 있도록 지원했습니다.
- 소매 : 전자 상거래 및 매장을 포함한 소매 업체는 비즈니스를 최적화하기 위해 빅 데이터 분석을 널리 사용하고 있습니다. 예 : Amazon, Walmart 등
빅 데이터 사용 사례
내가 여기서 취한 첫 번째 사용 사례는 Starbucks입니다.
여러분과 공유하고 싶은 두 번째 사용 사례는 Procter & Gamble입니다.
빅 데이터 분석의 동향
아래 이미지는 빅 데이터 시장 수익 에십억2011 년부터 2027 년까지의 미국 달러.
여기에 몇 가지 Forbes의 사실 및 통계 :
경력 전망 빅 데이터 분석 :
- 급여 측면 : 분석 작업의 평균 급여는 약 $ 94,167입니다. 데이터 사이언티스트는 3 년 연속 미국 최고의 직업으로 선정되었으며 평균 기본 급여는 $ 110,000이고 일자리는 4,524 개입니다. 인도에서 INR 10 Lakhs 미만의 급여를받는 분석 전문가의 비율은 INR 15 Lakhs 이상을받는 분석 전문가의 비율이 17 % 2016 년 이십 일% 2017 년 ~ 22.3 % 2018 년.
- 거대한 직업 기회 : Google, Apple, IBM, Adobe, Qualcomm 등과 같은 회사는 빅 데이터 분석 전문가를 고용합니다.
스킬 셋
다음은 빅 데이터 분석 분야의 역할에 따라 필요한 몇 가지 기술입니다.
- 기본 프로그래밍 : 적어도 자바와 파이썬과 같은 범용 프로그래밍 언어에 대한 지식이 있어야합니다.
- 통계 및 정량 분석 : 통계 및 정량 분석에 대한 아이디어를 갖는 것이 이상적입니다.
- 데이터웨어 하우징 : SQL 및 NoSQL 데이터베이스에 대한 지식이 필요합니다.
- 데이터 시각화 : 인사이트를 이해하고 실제 적용 할 수 있으려면 데이터 시각화 방법을 아는 것이 매우 중요합니다.
- 특정 비즈니스 지식 : 운영을 최적화하기 위해 분석을 적용하는 비즈니스를 반드시 알아야합니다.
- 계산 프레임 워크 : 바람직하게는 빅 데이터 분석에 필요한 적어도 하나 또는 두 개의 도구에 대해 알아야합니다.
이제 빅 데이터 분석에 대해 알았으니 전 세계에 걸쳐 250,000 명 이상의 만족 한 학습자 네트워크를 보유한 신뢰할 수있는 온라인 학습 회사 인 Edureka에서 작성했습니다. Edureka BigData Hadoop 인증 교육 과정은 학습자가 소매, 소셜 미디어, 항공, 관광, 금융 도메인에서 실시간 사용 사례를 사용하여 HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume 및 Sqoop의 전문가가 될 수 있도록 도와줍니다.
값으로 전달 참조 Java로 전달
질문이 있으십니까? 의견란에 언급 해 주시면 연락 드리겠습니다.