현장 전문가가 직접 전하는
4차 산업혁명 시대에 어울리는 빅데이터 구축 노하우!

이 책은 4차 산업혁명 시대에 왜 빅데이터가 중요한가에 대해 말하고, 실제로 빅데이터를 구축하려면 어떠한 기술이 필요한지 설명한다. 특히, 최근까지 다수의 빅데이터 구축 경험을 가진 현장 전문가의 설명은 빅데이터를 구축하는 데 필요한 효율적이고도 현실적인 조언이 되어줄 것이다. 나아가 빅데이터와 인공지능, 블록체인과의 연계 방안과 기술에 관해서도 설명한다. 빅데이터를 도입하거나 구축하려는 기업의 기획자나 실무자에게 유용한 자료가 될 것이다.

정보관리기술사를 취득하였으며 공학박사 학위를 가지고 있다. 현재는 통신회사에 근무하고 있다. 주로 IT 프로젝트 품질 관리와 테스트 업무를 하였으며, OO통신사 차세대 프로젝트 PMO 역할을 수행하기도 했다. 현재는 마케팅 부서에서 IT 신기술(블록체인, AI, 빅데이터 등) 적용에 몰두하고 있다.

PART I 빅데이터가 열어 갈 4차 산업혁명 1
CHAPTER 01 빅데이터와 우리의 미래 3
1.1 2030년 어느 날 3
1.2 빅데이터란? 4
1.3 빅데이터와 4차 산업혁명 6
1.3.1 빅데이터와 자율주행 자동차 14
1.4 기업은 빅데이터를 어떻게 이용하고 있을까? 15
1.5 빅데이터가 열어 갈 미래를 어떻게 준비해야 하는가? 16
1.5.1 미래는 자율형 분산 조직화된다 17
1.5.2 변화의 시간은 점점 짧아진다 18
1.5.3 시장 창조형 혁신이 필요하다 19
1.5.4 결국 인재가 가장 중요하다 21
1.5.5 빅데이터 기반의 온라인 평생 교육 22

CHAPTER 02 빅데이터란 무엇인가? 24
2.1 데이터 분석의 지난날 24
2.1.1 CRM에서 빅데이터 분석으로 24
2.1.2 데이터 마이닝 기술에서 빅데이터 분석 기술로 26
2.2 빅데이터 분석을 위해 우리가 알아야 할 것들 28
2.2.1 빅데이터의 정의 28
2.2.2 빅데이터의 특징 29
2.2.3 데이터 폭증 시대, 진정한 빅데이터 분석 32
2.2.4 빅데이터 분석 4요소 33
2.2.5 데이터 분석가는 무엇을 해야 하는가? 34
2.2.6 빅데이터 기반 기술에는 무엇이 있는가? 35
2.2.7 분석 알고리즘 학습 39
2.2.8 데이터 인사이트를 기르는 방법 42
2.3 빅데이터 기술 섭렵하기 44
2.3.1 빅데이터 수집 45
2.3.2 빅데이터 저장 51
2.3.3 빅데이터 처리 57
2.3.4 빅데이터 분석 60

CHAPTER 03 빅데이터의 비즈니스 활용 사례 66
3.1 기업의 빅데이터 활용 방향 67
3.2 해외 사례 70
3.3 국내 사례 79

PART II 빅데이터 구축 실무 95
CHAPTER 04 빅데이터 구축 97
4.1 빅데이터 플랫폼 구축 개요 97
4.1.1 운영계 시스템(기간계) 97
4.1.2 분석계 시스템(데이터 웨어하우스) 98
4.1.3 데이터 레이크 98
4.2 빅데이터 플랫폼 구축을 위한 프로세스 98
4.3 요구사항 분석 102
4.3.1 개선 방향 작성 104
4.3.2 분석 목표 수립 106
4.3.3 프로젝트 계획 108
4.3.4 보유 데이터 자산 확인 109
4.4 개발 계획 수립 112
4.4.1 일정 계획 수립 112
4.4.2 인력 계획 수립 116
4.5 목표 시스템 정의 119
4.6 기초 설계 126
4.6.1 고가용성 구성 126
4.6.2 개발 표준 정의 130
4.6.3 모델링 표준 정의 136
4.7 데이터 수집 설계 138
4.7.1 데이터 수집 계획 수립 138
4.7.2 빅데이터 수집 시스템 설계 143
4.7.3 내/외부 데이터 수집 150
4.8 데이터 처리 설계 154
4.8.1 데이터 처리 계획 수립 155
4.8.2 데이터 처리 설계 156
4.9 플랫폼 구축 160
4.9.1 PMO 관리사항 161
4.9.2 하드웨어 조달 및 설치 164
4.9.3 소프트웨어 조달 및 설치 165
4.9.4 데이터 수집 166
4.9.5 업무 개발/테스트 167
4.9.6 통합 테스트 168
4.9.7 사용자 인수 테스트 171
4.9.8 오픈 및 완료 보고 171

CHAPTER 05 빅데이터 분석과 활용 172
5.1 왜 데이터 전처리가 중요할까? 172
5.1.1 데이터 전처리란? 173
5.1.2 전송 및 전처리 업무의 문제 175
5.1.3 전송 방법의 구분 176
5.1.4 비실시간 데이터 전송 176
5.1.5 실시간 데이터 전송 180
5.1.6 크롤링과 스크랩핑 181
5.1.7 데이터 전송을 잘 수행하기 위한 준비사항 182
5.1.8 데이터 전송 및 전처리 시스템 구축 182
5.1.9 데이터 전송 포맷 187
5.1.10 로그 수집과 크롤링 189
5.1.11 하둡 연동 192
5.1.12 데이터 스펙 검증 및 관계형 데이터베이스 연동 194
5.1.13 데이터 전처리 구현 195
5.2 머신러닝 기반 분석 프로세스 198
5.2.1 예측 모형 개발 프로세스 198
5.2.2 예측 모형 알고리즘 선정 프로세스 201
5.2.3 예측모형 알고리즘 종류 202
5.2.4 머신러닝 예측 모델 성능 평가 213

CHAPTER 06 빅데이터 운영 218
6.1 빅데이터 운영 기획 218
6.2 빅데이터 운영 228
6.3 운영 평가 235

PART III 빅데이터 활성화 산업혁명 기술 239
CHAPTER 07 빅데이터와 인공지능 241
7.1 인공지능에서의 빅데이터 활용 241
7.2 인공지능의 과거와 현재 241
7.2.1 고정관념의 변화 241
7.2.2 과거의 인공지능 243
7.3 쉬운 인공지능, 어려운 용어 245
7.4 인공지능의 개념 247
7.4.1 인공지능의 분류 249
7.5 인공지능 기초 알고리즘 251
7.5.1 퍼셉트론 251
7.5.2 퍼셉트론 활용 기초 253
7.6 인공지능 기술 분류 255
7.6.1 상황이해 259
7.6.2 언어이해 260
7.7 인공지능의 학습기법과 알고리즘 260

CHAPTER 08 빅데이터와 블록체인 262
8.1 비트코인의 탄생 262
8.2 비트코인에 코인은 없다 264
8.3 비트코인의 보상 265
8.4 블록체인의 구조 267
8.5 공개, 개인, 컨소시엄 블록체인 268
8.6 블록체인 기술의 산업적 활용 전망 272
8.7 빅데이터 활성화를 위한 블록체인 278

참고문헌 281
찾아보기 284