데이터 과학이란? 데이터 과학에 대한 초보자 가이드

세계가 빅 ​​데이터 시대에 접어 들면서 스토리지에 대한 필요성도 커졌습니다. 이는 2010 년까지 엔터프라이즈 산업의 주요 과제이자 관심사였습니다. 주요 초점은 데이터 저장을위한 프레임 워크와 솔루션을 구축하는 것이 었습니다. 이제 Hadoop 및 기타 프레임 워크가 스토리지 문제를 성공적으로 해결했을 때 초점은이 데이터 처리로 옮겨졌습니다. 데이터 과학은 여기서 비밀 소스입니다. 할리우드 공상 과학 영화에서 보는 모든 아이디어는 실제로 데이터 과학에 의해 현실로 바뀔 수 있습니다. 데이터 과학은 인공 지능의 미래입니다. 따라서 데이터 과학이 무엇이며 비즈니스에 어떻게 가치를 더할 수 있는지 이해하는 것이 매우 중요합니다.

이 블로그에서는 다음 주제를 다룰 것입니다.

• 데이터 과학이란?
• 왜 데이터 과학인가?
• 데이터 과학자는 누구입니까?
  • 데이터 과학자는 무엇을합니까?
• 비즈니스 인텔리전스 (BI) 및 데이터 과학과 어떻게 다릅니 까?
• 사용 사례를 통한 데이터 과학의 수명주기

이 블로그가 끝나면 데이터 과학이란 무엇이며 우리 주변의 복잡하고 큰 데이터 세트에서 의미있는 통찰력을 추출하는 데있어 데이터 과학의 역할을 이해할 수 있습니다.데이터 과학에 대한 심층적 인 지식을 얻으려면 실시간으로 등록 할 수 있습니다. 24/7 지원 및 평생 액세스를 제공하는 Edureka

데이터 과학이란?

데이터 과학은 원시 데이터에서 숨겨진 패턴을 발견하기위한 목표와 함께 다양한 도구, 알고리즘 및 기계 학습 원칙을 혼합 한 것입니다. 그러나 이것은 통계 학자들이 수년간해온 것과 어떻게 다릅니 까?

대답은 설명과 예측의 차이에 있습니다.

위 이미지에서 알 수 있듯이 데이터 분석가는일반적으로 데이터의 이력을 처리하여 무슨 일이 일어나고 있는지 설명합니다. 반면 데이터 과학자는 탐색 적 분석을 통해 통찰력을 발견 할뿐만 아니라 다양한 고급 기계 학습 알고리즘을 사용하여 미래의 특정 이벤트 발생을 식별합니다. 데이터 과학자는 이전에 알려지지 않은 여러 각도에서 데이터를 살펴 봅니다.

따라서 데이터 과학은 주로 예측 인과 분석, 규범 적 분석 (예측 및 의사 결정 과학) 및 기계 학습을 사용하여 의사 결정 및 예측을 내리는 데 사용됩니다.

• 예측 인과 분석 – 향후 특정 이벤트의 가능성을 예측할 수있는 모델을 원한다면 예측 적 인과 분석을 적용해야합니다. 예를 들어 신용으로 돈을 제공하는 경우 고객이 제 시간에 신용을 제때 지불 할 가능성이 당신의 문제입니다. 여기에서 고객의 결제 내역에 대한 예측 분석을 수행하여 향후 결제가 제 시간에 이루어질 지 여부를 예측할 수있는 모델을 구축 할 수 있습니다.

• 처방 적 분석 : 자체 결정을 내릴 수있는 인텔리전스와 동적 매개 변수를 사용하여 수정할 수있는 기능이있는 모델을 원하면이를위한 규범 적 분석이 반드시 필요합니다. 이 비교적 새로운 분야는 조언을 제공하는 것입니다. 다른 말로하면, 규정 된 행동과 관련 결과를 예측할뿐만 아니라 제안합니다.
  이에 대한 가장 좋은 예는 앞서 말씀 드린 Google의 자율 주행 차입니다. 차량에서 수집 한 데이터는 자율 주행 차 훈련에 사용될 수 있습니다. 이 데이터에 대해 알고리즘을 실행하여 인텔리전스를 가져올 수 있습니다. 이것은 당신의 차가 언제 회전할지, 어떤 길을 택할지와 같은 결정을 내릴 수있게합니다.,속도를 줄이거 나 늘릴 때.

• 예측을위한 머신 러닝 — 금융 회사의 거래 데이터가 있고 미래 추세를 결정하기위한 모델을 구축해야하는 경우 기계 학습 알고리즘이 최선의 선택입니다. 이것은지도 학습의 패러다임에 속합니다. 기계를 훈련 할 수있는 데이터를 이미 가지고 있기 때문에 감독 됨이라고합니다. 예를 들어, 사기 구매 내역 기록을 사용하여 사기 감지 모델을 학습 할 수 있습니다.

• 패턴 발견을위한 기계 학습 — 예측할 수있는 기준이되는 매개 변수가없는 경우 의미있는 예측을 수행하려면 데이터 세트 내의 숨겨진 패턴을 찾아야합니다. 그룹화를 위해 사전 정의 된 라벨이 없기 때문에 감독되지 않은 모델 일뿐입니다. 패턴 발견에 사용되는 가장 일반적인 알고리즘은 클러스터링입니다.
  전화 회사에서 일하고 있고 지역에 타워를 설치하여 네트워크를 구축해야한다고 가정 해 보겠습니다. 그런 다음 클러스터링 기술을 사용하여 모든 사용자가 최적의 신호 강도를받을 수 있도록 타워 위치를 찾을 수 있습니다.

위에서 설명한 접근 방식의 비율이 데이터 분석과 데이터 과학에서 어떻게 다른지 살펴 보겠습니다. 아래 이미지에서 볼 수 있듯이 데이터 분석설명 분석 및 예측을 어느 정도 포함합니다. 반면에 데이터 과학은 예측 인과 분석 및 기계 학습에 관한 것입니다.

이제 데이터 과학이 정확히 무엇인지 알았으므로 이제 처음에 데이터 과학이 필요한 이유를 알아 보겠습니다.

왜 데이터 과학인가?

• 전통적으로 우리가 가지고 있던 데이터는 대부분 구조화되고 크기가 작았으며 간단한 BI 도구를 사용하여 분석 할 수있었습니다.데이터와 달리대부분 구조화 된 전통적인 시스템, 오늘날 대부분의 데이터는 비정형 또는 반 정형입니다. 2020 년까지 데이터의 80 % 이상이 비정형 화 될 것임을 보여주는 아래 이미지의 데이터 추세를 살펴 보겠습니다.
  
  이 데이터는 재무 로그, 텍스트 파일, 멀티미디어 양식, 센서 및 도구와 같은 다양한 소스에서 생성됩니다. 간단한 BI 도구로는 이처럼 방대한 양의 다양한 데이터를 처리 할 수 ​​없습니다. 이것이 의미있는 통찰력을 처리, 분석 및 도출하기 위해 더 복잡하고 고급 분석 도구와 알고리즘이 필요한 이유입니다.

이것이 데이터 과학이 인기를 얻은 유일한 이유는 아닙니다. 더 깊이 파고 들어 데이터 과학이 다양한 도메인에서 어떻게 사용되고 있는지 살펴 보겠습니다.

• 고객의 과거 검색 기록, 구매 기록, 연령 및 수입과 같은 기존 데이터에서 고객의 정확한 요구 사항을 이해할 수 있다면 어떨까요? 이전에도이 모든 데이터를 가지고 있었지만 이제는 방대한 양과 다양한 데이터를 사용하여 모델을보다 효과적으로 학습하고보다 정확하게 고객에게 제품을 추천 할 수 있습니다. 조직에 더 많은 비즈니스를 가져다 줄 것이기 때문에 놀랍지 않습니까?

• 데이터 과학의 역할을 이해하기 위해 다른 시나리오를 살펴 보겠습니다. 의사 결정.당신의 차에 당신을 집으로 데려다 줄 지능이 있다면 어떨까요? 자율 주행 차는 레이더, 카메라, 레이저 등 센서에서 실시간 데이터를 수집하여 주변지도를 만듭니다. 이 데이터를 기반으로 고급 머신 러닝 알고리즘을 사용하여 속도를 높일 때, 속도를 낮출 때, 추월 할 때, 회전 할 위치와 같은 결정을 내립니다.
• 데이터 과학이 예측 분석에 어떻게 사용될 수 있는지 살펴 보겠습니다. 일기 예보를 예로 들어 보겠습니다. 선박, 항공기, 레이더, 위성의 데이터를 수집하고 분석하여 모델을 구축 할 수 있습니다. 이 모델은 날씨를 예측할뿐만 아니라 자연 재해 발생을 예측하는데도 도움이됩니다. 사전에 적절한 조치를 취하고 많은 소중한 생명을 구하는 데 도움이 될 것입니다.

데이터 과학이 인상을주는 모든 영역을 확인하려면 아래 인포 그래픽을 살펴 보겠습니다.

데이터 과학자는 누구입니까?

데이터 과학자에 대한 몇 가지 정의가 있습니다. 간단히 말해서 데이터 과학자는 데이터 과학 기술을 실천하는 사람입니다.'데이터 과학자'라는 용어는데이터 과학자가 통계이든 수학이든 과학 분야 및 응용 분야에서 많은 정보를 끌어 온다는 사실을 고려하여 만들어졌습니다.

데이터 과학자는 무엇을합니까?

데이터 과학자는 특정 과학 분야에 대한 강력한 전문 지식으로 복잡한 데이터 문제를 해결하는 사람들입니다. 수학, 통계, 컴퓨터 과학 등과 관련된 여러 요소를 다루고 있습니다 (이 모든 분야의 전문가는 아닐 수 있음).그들은 솔루션을 찾고 조직의 성장과 발전에 중요한 결론에 도달하는 데 최신 기술을 많이 사용합니다. 데이터 과학자들은 구조화 된 형식과 구조화되지 않은 형식에서 사용할 수있는 원시 데이터에 비해 훨씬 더 유용한 형식으로 데이터를 제시합니다.

데이터 과학자에 대한 자세한 내용은 다음 기사를 참조하십시오.

더 나아가 이제 BI에 대해 논의하겠습니다. BI (비즈니스 인텔리전스)에 대해서도 들어 보셨을 것입니다. 데이터 과학은 종종 BI와 혼동됩니다. 간결하고 명확하게 설명하겠습니다.더 나은 이해를 얻는 데 도움이 될 둘 사이의 대조. 한번 보시죠.

비즈니스 인텔리전스 (BI) 대 데이터 과학

• 비즈니스 인텔리전스 (BI)는 기본적으로 이전 데이터를 분석하여 비즈니스 동향을 설명하는 데 필요한 통찰력과 통찰력을 찾습니다. 여기서 BI를 사용하면 외부 및 내부 소스에서 데이터를 가져 와서 준비하고 쿼리를 실행하고 대시 보드를 만들어 다음과 같은 질문에 답할 수 있습니다.분기 별 수익 분석또는 비즈니스 문제. BI는 가까운 장래에 특정 이벤트의 영향을 평가할 수 있습니다.

• 데이터 과학은 정보에 입각 한 결정을 내릴 목적으로 과거 또는 현재 데이터를 분석하고 미래 결과를 예측하는 데 초점을 맞춘 탐색 적 방식 인보다 미래 지향적 인 접근 방식입니다. 이벤트가 '무엇'및 '어떻게'발생하는지에 대한 개방형 질문에 답합니다.

몇 가지 대조되는 기능을 살펴 보겠습니다.

이 모든 것이 데이터 과학에 관한 것이 었습니다. 이제 데이터 과학의 수명주기를 이해하겠습니다.

데이터 과학 프로젝트에서 흔히 범하는 실수는 요구 사항을 이해하지 못하거나 비즈니스 문제를 적절하게 구성하지 않고 데이터 수집 및 분석에 돌입하는 것입니다. 따라서 프로젝트의 원활한 기능을 보장하기 위해 데이터 과학의 수명주기 전체에 걸쳐 모든 단계를 따르는 것이 매우 중요합니다.

데이터 과학의 수명주기

다음은 데이터 과학 라이프 사이클의 주요 단계에 대한 간략한 개요입니다.

1 단계 — 검색 : 프로젝트를 시작하기 전에 다양한 사양, 요구 사항, 우선 순위 및 필요한 예산을 이해하는 것이 중요합니다. 올바른 질문을 할 수있는 능력이 있어야합니다.여기에서 프로젝트를 지원하는 데 필요한 인력, 기술, 시간 및 데이터가 있는지 평가합니다.이 단계에서는 비즈니스 문제를 구성하고 테스트 할 초기 가설 (IH)을 공식화해야합니다.

2 단계 — 데이터 준비 : 이 단계에서는 프로젝트의 전체 기간 동안 분석을 수행 할 수있는 분석 샌드 박스가 필요합니다. 모델링 전에 데이터를 탐색, 전처리 및 조건화해야합니다. 또한 ETLT (추출, 변환,로드 및 변환)를 수행하여 데이터를 샌드 박스로 가져옵니다. 아래의 통계 분석 흐름을 살펴 보겠습니다.

데이터 정리, 변환 및 시각화에 R을 사용할 수 있습니다. 이렇게하면 특이 치를 찾아 내고 변수 간의 관계를 설정하는 데 도움이됩니다.데이터를 정리하고 준비했으면 이제 탐색을 수행 할 시간입니다.해석학그 위에. 이를 어떻게 달성 할 수 있는지 살펴 보겠습니다.

3 단계 — 모델 계획 : 여기에서는 변수 간의 관계를 그리는 방법과 기술을 결정합니다.이러한 관계는 다음 단계에서 구현할 알고리즘의 기반을 설정합니다.다양한 통계 공식 및 시각화 도구를 사용하여 탐색 데이터 분석 (EDA)을 적용합니다.

다양한 모델 계획 도구를 살펴 보겠습니다.

1. 아르 자형 완전한 모델링 기능 세트를 가지고 있으며 해석 모델을 구축하기위한 좋은 환경을 제공합니다..
2. SQL 분석 서비스 공통 데이터 마이닝 기능과 기본 예측 모델을 사용하여 데이터베이스 내 분석을 수행 할 수 있습니다.
3. SAS / 액세스 Hadoop에서 데이터에 액세스하는 데 사용할 수 있으며 반복 가능하고 재사용 가능한 모델 흐름도를 만드는 데 사용됩니다.

많은 도구가 시장에 나와 있지만 R이 가장 일반적으로 사용되는 도구입니다.

이제 데이터의 특성에 대한 통찰력을 얻었고 사용할 알고리즘을 결정했습니다. 다음 단계에서는대다알고리즘을 만들고 모델을 구축합니다.

4 단계 — 모델 구축 : 이 단계에서는 교육 및 테스트 목적으로 데이터 세트를 개발합니다. 여기 y기존 도구가 모델을 실행하는 데 충분한 지 아니면보다 강력한 환경 (빠른 병렬 처리와 같은)이 필요한지 고려해야합니다. 분류, 연관 및 클러스터링과 같은 다양한 학습 기술을 분석하여 모델을 구축합니다.

다음 도구를 통해 모델 구축을 수행 할 수 있습니다.

5 단계 — 운영 : 이 단계에서는 최종 보고서, 브리핑, 코드 및 기술 문서를 제공합니다.또한 때때로 파일럿 프로젝트가 실시간 프로덕션 환경에서 구현됩니다. 이렇게하면 전체 배포 전에 소규모로 성능 및 기타 관련 제약 조건에 대한 명확한 그림을 얻을 수 있습니다.

6 단계 — 결과 전달 : 이제 첫 번째 단계에서 계획 한 목표를 달성 할 수 있었는지 평가하는 것이 중요합니다. 따라서 마지막 단계에서 모든 주요 결과를 식별하고 이해 관계자와 소통하며 결과가프로젝트의 성공 여부는 1 단계에서 개발 된 기준에 따라 결정됩니다.

이제 위에서 설명한 다양한 단계를 설명하기 위해 사례 연구를 수행하겠습니다.

사례 연구 : 당뇨병 예방

당뇨병의 발생을 예측하고 예방을 위해 사전에 적절한 조치를 취할 수 있다면 어떨까요?
이 사용 사례에서는 앞에서 논의한 전체 수명주기를 활용하여 당뇨병 발생을 예측합니다. 다양한 단계를 살펴 보겠습니다.

1 단계:

• 먼저,우리는 병력을 기반으로 데이터를 수집합니다1 단계에서 논의한대로 환자의 상태를 확인하십시오. 아래 샘플 데이터를 참조 할 수 있습니다.

• 보시다시피 아래와 같은 다양한 속성이 있습니다.

속성 :

1. npreg – 임신 횟수
2. 포도당 – 혈장 포도당 농도
3. bp – 혈압
4. skin – 삼두근 skinfold 두께
5. bmi – 체질량 지수
6. ped – 당뇨병 혈통 기능
7. age – 나이
8. 소득 – 소득

2 단계:

• 이제 데이터가 확보되면 데이터 분석을 위해 데이터를 정리하고 준비해야합니다.
• 이 데이터에는 누락 된 값, 빈 열, 갑작스러운 값 및 정리해야하는 잘못된 데이터 형식과 같은 많은 불일치가 있습니다.
• 여기에서는 데이터를 서로 다른 속성으로 단일 테이블로 구성하여보다 체계적으로 보입니다.
• 아래의 샘플 데이터를 살펴 보겠습니다.

이 데이터에는 많은 불일치가 있습니다.

1. 칼럼에서 npreg , '하나'는말,1과 같은 숫자 형식이어야합니다.
2. 열에서 혈압 값 중 하나는 불가능한 6600입니다 (적어도 인간에게는) bp는 그렇게 큰 가치까지 올라갈 수 없기 때문입니다.
3. 보시다시피 수입 열은 비어 있으며 당뇨병을 예측할 때도 의미가 없습니다. 따라서 여기에있는 것은 중복되며 테이블에서 제거해야합니다.

• 따라서 이상 값을 제거하고 null 값을 채우고 데이터 유형을 정규화하여이 데이터를 정리하고 전처리합니다. 기억 하시나요? 이것은 데이터 전처리 인 두 번째 단계입니다.
• 마지막으로 분석에 사용할 수있는 다음과 같은 깨끗한 데이터를 얻습니다.

3 단계 :

이제 3 단계에서 앞서 설명한대로 몇 가지 분석을 수행해 보겠습니다.

• 먼저 분석 샌드 박스에 데이터를로드하고 여기에 다양한 통계 기능을 적용합니다. 예를 들어 R에는 다음과 같은 기능이 있습니다. 설명 결 측값과 고유 값의 수를 제공합니다. 평균, 중앙값, 범위, 최소 및 최대 값과 같은 통계 정보를 제공하는 요약 기능을 사용할 수도 있습니다.
• 그런 다음 히스토그램, 선 그래프, 상자 그림과 같은 시각화 기술을 사용하여 데이터 분포에 대한 공정한 아이디어를 얻습니다.

double을 int로 캐스팅하는 방법

4 단계 :

이제 이전 단계에서 얻은 통찰력을 기반으로 이러한 종류의 문제에 가장 적합한 것은 의사 결정 트리입니다. 어떻게 볼까요?

• 이후 우리는 이미 다음과 같은 분석을위한 주요 속성을 가지고 있습니다. npreg, bmi 등을 사용하므로지도 학습 기술을 구축여기 모델.
• 또한, 우리는 특히 의사 결정 트리를 사용했는데, 이는 모든 속성을 한 번에 고려하기 때문입니다.선형 관계 및 비선형 관계가있는 관계. 우리의 경우, 우리는 npreg 과 나이, 반면 비선형 관계는 npreg 과 ped .
• 의사 결정 트리 모델은 다양한 속성 조합을 사용하여 다양한 트리를 만든 다음 마지막으로 최대 효율성으로 구현할 수 있으므로 매우 강력합니다.

의사 결정 트리를 살펴 보겠습니다.

여기서 가장 중요한 매개 변수는 포도당 수준이므로 루트 노드입니다. 이제 현재 노드와 해당 값이 다음으로 취할 중요한 매개 변수를 결정합니다. 결과를 얻을 때까지 계속됩니다. pos 또는 부정 . Pos는 당뇨병에 걸린 경향이 양성임을 의미하고 음수는 당뇨병에 걸린 경향이 음성임을 의미합니다.

의사 결정 트리 구현에 대해 자세히 알아 보려면이 블로그를 참조하십시오.

5 단계 :

이 단계에서는 결과가 적절한 지 확인하기 위해 소규모 파일럿 프로젝트를 실행합니다. 성능 제약이있는 경우에도 찾아 볼 것입니다. 결과가 정확하지 않으면 모델을 다시 계획하고 재구성해야합니다.

6 단계 :

프로젝트를 성공적으로 실행하면 전체 배포를위한 출력을 공유합니다.

데이터 과학자가되는 것은 말보다 쉽습니다. 이제 데이터 과학자가되기 위해 필요한 모든 것이 무엇인지 살펴 보겠습니다.데이터 과학자는 기본적으로 기술이 필요합니다.아래와 같이 세 가지 주요 영역에서.

위 이미지에서 볼 수 있듯이 다양한 하드 스킬과 소프트 스킬을 습득해야합니다. 당신은 잘해야합니다 통계 과 수학 데이터를 분석하고 시각화합니다. 말할 필요도없이, 기계 학습 데이터 과학의 핵심을 형성하며이를 잘 수행해야합니다. 또한, 당신은 확실한 이해가 필요합니다 도메인 비즈니스 문제를 명확하게 이해하기 위해 노력하고 있습니다. 당신의 임무는 여기서 끝나지 않습니다. 좋은 것을 요구하는 다양한 알고리즘을 구현할 수 있어야합니다. 코딩 기술. 마지막으로 특정 주요 결정을 내린 후에는 이해 관계자에게 전달하는 것이 중요합니다. 그래서 좋아 통신 확실히 당신의 기술에 브라우니 포인트를 추가 할 것입니다.

데이터 과학이란 무엇이며 블로그에서 논의한 모든 내용을 설명하는이 데이터 과학 비디오 자습서를 참조하시기 바랍니다. 계속해서 비디오를 즐기고 당신의 생각을 말 해주세요.

데이터 과학이란? 데이터 과학 과정 – 초보자를위한 데이터 과학 자습서 | Edureka

이 Edureka 데이터 과학 과정 비디오는 데이터 과학의 필요성, 데이터 과학이란 무엇인가, 비즈니스를위한 데이터 과학 사용 사례, BI 대 데이터 과학, 데이터 분석 도구, 데이터 과학 라이프 사이클을 데모와 함께 안내합니다.

결국 미래는 데이터 과학자의 것입니다. 2018 년 말까지 약 백만 명의 데이터 과학자가 필요할 것으로 예상됩니다. 점점 더 많은 데이터가 주요 비즈니스 결정을 내릴 수있는 기회를 제공 할 것입니다. 그것은 곧 우리 주변의 데이터로 가득 찬 세상을 바라 보는 방식을 바꿀 것입니다. 따라서 데이터 과학자는 고도로 숙련되고 가장 복잡한 문제를 해결할 동기가 있어야합니다.

제 블로그를 즐겁게 읽고 데이터 과학이 무엇인지 이해 하셨기를 바랍니다.우리를 확인하십시오 여기에는 강사 주도의 라이브 교육과 실제 프로젝트 경험이 함께 제공됩니다.