데이터 과학자와 빅데이터 분석 방법론

데이터 과학자들은 어떤 도구를 활용할까?

---

빅데이터 분석 방법론

빅데이터를 활용하기 위해서는 데이터 분석절차와 방법을 체계화한 방법론이 필요

분석기획 → 데이터 준비 → 데이터 분석 → 시스템 구현 → 평가 및 전개

---

빅데이터 분석 도입의 배경

다양한 형태의 데이터가 큰 규모로 빠르게 축적되어 3V 활용이 가능해짐

• 단순히 데이터의 축적과 요약만으로는 데이터의 가치를 파악하는 것이 제한
• 데이터 과학자에게 데이터 분석의 방향을 구체화 하는 역할을 요구

빅데이터를 처리하고 분석하는데 필요한 도구와 기술의 발전

• 클라우드 컴퓨팅, 빅데이터 처리 기술, 머신러닝을 이용해 더 복잡하고 정교한 데이터 분석이 가능

기업 환경의 변화가 가속화됨

1. 경쟁의 증가

• 글로벌 경제에서 경쟁이 치열해지고 있으며 기업들은 데이터를 활용하여 경쟁 우위를 확보하려고 노력

2. 고객 중심 전략

• 데이터 분석을 통해 고객의 행동을 이해하고 예측함으로써 제품 및 서비스를 최적화 하려고 노력

기업환경의 변화가 가속화됨

3. 비즈니스 인텔리전스 BI의 필요

• 기업은 더 빠르게 의사 결정하고 경영진에게 효과적으로 리포팅하기 위해 비즈니스 인텔리전스를 필요로함
• BI는 조직에서 사람과 기술의 힘을 사용하여 전략적 및 일상적 의사결정 프로세스에 사용될 데이터를 수집하고 분석하는 프로세스

4. 비용 감소 및 효율성 향상

• 데이터 분석은 재고 관리, 공급망 최적화 등 프로세스의 효율을 높히고 비용을 감소 시킬수있음

---

기업 경영에서 데이터와 데이터 분석의 중요성

• 과업을 위해 데이터가 없거나 있더라도 타당한 분석이 없으면 잘못된 의사결정으로 이어질수있음
• 관련된 데이터를 확보하고 데이터 분석을 체계적으로 기획하여 잘못된 의사 결정으로 인한 기업 가치의 하락을 사전에 방지
• 데이터 수집과 분석의 지연은 의사결정의 지연으로 연결됨

EX) 특정과업부여 → 데이터의 미비, 타당한 분석 부재 → 잘못된 의사결정 → 업무처리 → 기업가치의 하락

---

빅데이터 분석 도입의 성공요소

1. 분석 질문의 우선적 정의

무엇을 분석할 것인지 구체적이고 명확한 정의가 필요

• 기업 경영정책과 연계성이 높게 데이터 분석의 방향을 설정
• 실질적으로 업무에 필요한 분석이 무엇인지 탐색

• 질문이 정해진 후 이와 관련된 데이터를 찾아야됨
• 분석 질문에 대한 답을 하기 위한 정보가 담겨진 내·외부 데이터에 대한 탐색 필요
• 질문과 관련없는 잘못된 데이터의 선택은 시간과 비용의 낭비를 초래함

ex) 질문 → 필요한 분석의 정의 → 필요한 데이터 및 정보의 정의 → 경영 정책과 연계성 있는 데이터의 입수

2. 분석 방법과 내용에 대한 선택과 집중

당면한 과업의 효과적인 해결에 이르는 데이터와 분석방법을 선택

• 방대한 데이터로부터 효과가 기대되는 특정 대상과 데이터로 좁힘

• 핵심 분석 사항을 집중하여 면밀하게 검토
• 핵심 사항에 대해서 검증 후 점진적으로 분석 대상과 범위를 확대

ex) 핵심대상의 선택 → 데이터 및 분석의 집중 → 핵심분석 역량 및 경쟁력 강화 → 적용 범위 확대

3. 자동화된 분석의 업무 프로세스 내재화

데이터 기반 의사결정

• 데이터 분석이 기업의 의사결정 프로세스의 일부로 자리 잡아야함
• 데이터 분석과 분석 결과의 활용이 밀접하게 연결되어 있어야함

Data-Driven Decision Making

---

빅데이터 분석 방법론 (단계별)

1. 분석 기획

• 문제점을 인식하고 분석 계획 및 프로젝트 수행계획을 수립하는 단계
• 비즈니스 이해 및 범위설정 (방향 설정, 목적에 부합하는 범위 설정)
• 프로젝트 정의 및 계획 수립 (목표 및 핵심성과지표 설정)
• 프로젝트 위험 계획 수립 (위험 관리 계획서 작성)

2. 데이터 준비

• 요구 사항과 데이터 분석에 필요한 원천 데이터를 정의하고 준비하는 단계
• 필요 데이터 정의 (데이터 정의서 작성)
• 데이터 스토어 설계 (정형, 반정형, 비정형 데이터 수용)
• 데이터 수집 및 정합성 점검

3. 데이터 분석

• 다양한 분석 기법과 알고리즘을 이용하여 데이터를 분석하는 단계
• 분석용 데이터 준비
• 텍스트 분석
• 탐색적 분석
• 모델링
• 모델 평가 및 검증
• 모델 적용 및 운영 방안 수립

4. 시스템 구현

• 분석 기획에 맞는 모델을 도출하여 시스템에 적용
• 설계 및 구현
• 시스템 테스트 및 운영

5. 평가 및 전개

• 프로젝트 성과를 평가하고 모델 발전 계획 수립
• 프로젝트 평가 및 보고