책소개
데이터 분석과 머신러닝의 각 업무 단계를 깊이 있게 이해하자! 이 책은 실무적인 관점에서 데이터 분석의 기초 체력이라 할 수 있는 통계학부터 머신러닝 기법까지 다룬다. 비즈니스 문제 정의 단계부터 시작해서 탐색적 데이터 분석(EDA), 데이터 전처리와 파생변수 생성, 머신러닝 모델링 및 성능평가, 그리고 스토리텔링까지, 데이터 분석가라면 반드시 알아야 하는 모든 내용을 담고 있다. 실무자가 회사에서 바로 활용할 수 있도록 불필요한 수식과 이론을 최소화하고 핵심 개념을 쉽게 이해할 수 있게 구성했다. 데이터 분석 및 머신러닝의 전체 과정을 미니 프로젝트 기반으로 실습하면서 데이터를 올바르게 이해하고 의미 있는 비즈니스 인사이트를 얻는 방법을 배울 수 있다.
저자소개
선문대학교 SW융합대학 AI소프트웨어학과 교수로 머신러닝, 인공지능, 파이썬 프로그래밍을 가르치며, 여러 기업의 기술 자문을 맡고 있다. 연세대학교에서 센서 데이터를 활용한 실시간 대중교통체계(Real-time Public Transportation Systems) 연구로 박사학위를 받았으며, 약 8년간 코오롱, 롯데 그룹 등에서 데이터 분석가 및 데이터 사이언티스트로서 다양한 비즈니스 도메인의 데이터를 분석하고 추천 시스템, 수요 예측 알고리즘 등의 모델을 구축 및 운영했다.
목차
[1부] 데이터 기초체력 기르기▣ 01장: 통계학 이해하기1.1 왜 통계학을 알아야 할까?1.2 머신러닝과 전통적 통계학의 차이1.3 통계학의 정의와 기원1.4 기술 통계화 추론 통계___1.4.1 기술 통계___1.4.2 추론 통계▣ 02장: 모집단과 표본추출2.1 모집단과 표본, 전수조사와 표본조사2.2 표본조사를 하는 이유와 데이터과학 적용 방법2.3 표본추출에서 나타나는 편향의 종류2.4 인지적 편향의 종류___2.4.1 확증 편향(confirmation bias)___2.4.2 기준점 편향(anchoring bias)___2.4.3 선택 지원 편향(choice-supportive bias)___2.4.4 분모 편향(denominator bias)___2.4.5 생존자 편향(survivorship bias)2.5 머신러닝 모델 측면의 편향과 분산2.6 표본 편향을 최소화하기 위한 표본 추출 방법▣ 03장: 변수와 척도3.1 변수의 종류3.2 변수 관계의 종류3.3 척도의 종류▣ 04장: 데이터의 기술 통계적 측정4.1 중심 성향의 측정4.2 분산과 표준편차4.3 산포도와 범위, 사분위수, 변동계수4.4 왜도와 첨도___4.4.1 왜도___4.4.2 첨도4.5 표준편차의 경험법칙▣ 05장: 확률과 확률변수5.1 확률의 기본 개념5.2 확률의 종류5.3 분할과 베이지안 이론___5.3.1 분할___5.3.2 베이지안 이론5.4 확률변수의 개념과 종류5.5 심슨의 역설▣ 06장: 확률분포6.1 확률분포의 정의와 종류6.2 이산확률분포___6.2.1 균등분포___6.2.2 이항분포___6.2.3 초기하분포___6.2.4 포아송분포6.3 연속확률분포___6.3.1 정규분포___6.3.2 지수분포6.4 중심극한정리▣ 07장: 가설검정7.1 귀무가설과 대립가설7.2 가설검정의 절차7.3 가설검정의 유의수준과 p값7.4 1종 오류와 2종 오류[2부] 데이터 분석 준비하기▣ 08장: 분석 프로젝트 준비 및 기획8.1 데이터 분석의 전체 프로세스___8.1.1 데이터 분석의 3단계___8.1.2 CRISP-DM 방법론___8.1.3 SAS SEMMA 방법론8.2 비즈니스 문제 정의와 분석 목적 도출8.3 분석 목적의 전환8.4 도메인 지식8.5 외부 데이터 수집과 크롤링▣ 09장: 분석 환경 세팅하기9.1 어떤 데이터 분석 언어를 사용하는 것이 좋을까?9.2 데이터 처리 프로세스 이해하기9.3 분산데이터 처리___9.3.1 HDFS___9.3.2 아파치 스파크9.4 테이블 조인과 정의서 그리고 ERD___9.4.1 테이블 조인___9.4.2 데이터 단어사전___9.4.3 테이블 정의서___9.4.4 ERD▣ 10장: 데이터 탐색과 시각화10.1 탐색적 데이터 분석___10.1.1 엑셀을 활용한 EDA___10.1.2 탐색적 데이터 분석 실습10.2 공분산과 상관성 분석___10.2.1 공분산___10.2.2 상관계수___10.2.3 공분산과 상관성 분석 실습10.3 시간 시각화___10.3.1 시간 시각화 실습10.4 비교 시각화___10.4.1 비교 시각화 실습10.5 분포 시각화___10.5.1 분포 시각화 실습10.6 관계 시각화___10.6.1 관계 시각화 실습10.7 공간 시각화___10.7.1 공간 시각화 실습10.8 박스 플롯___10.8.1 박스 플롯 실습▣ 11장: 데이터 전처리와 파생변수 생성11.1 결측값 처리___11.1.1 결측값 처리 실습11.2 이상치 처리___11.2.1 이상치 처리 실습11.3 변수 구간화(Binning)___11.3.1 변수 구간화 실습11.4 데이터 표준화와 정규화 스케일링___11.4.1 데이터 표준화와 정규화 스케일링 실습11.5 모델 성능 향상을 위한 파생 변수 생성___11.5.1 파생 변수 생성 실습11.6 슬라이딩 윈도우 데이터 가공___11.6.1 슬라이딩 윈도우 실습11.7 범주형 변수의 가변수 처리___11.7.1 범주형 변수의 가변수 처리 실습11.8 클래스 불균형 문제 해결을 위한 언더샘플링과 오버샘플링___11.8.1 언더샘플링과 오버샘플링 실습11.9 데이터 거리 측정 방법___11.9.1 대표적인 거리 측정 방법___11.9.2 데이터 거리 측정 실습[3부] 데이터 분석하기▣ 12장: 통계 기반 분석 방법론12.1 분석 모델 개요12.2 주성분 분석(PCA)___12.2.1 주성분 분석 실습12.3 공통요인분석(CFA)___12.3.1 공통요인분석 실습12.4 다중공선성 해결과 섀플리 밸류 분석12.5 데이터 마사지와 블라인드 분석___12.5.1 데이터 마사지___12.5.2 블라인드 분석12.6 Z-test와 T-test___12.6.1 Z-test와 T-test 실습12.7 ANOVA(Analysis of Variance)___12.7.1 ANOVA 실습12.8 카이제곱 검정(교차분석)___12.8.1 카이제곱 검정 실습▣ 13장: 머신러닝 분석 방법론13.1 선형 회귀분석과 Elastic Net(예측모델)___13.1.1 회귀분석의 기원과 원리___13.1.2 다항 회귀(Polynomial regression)___13.1.3 Ridge와 Lasso 그리고 Elastic Net___13.1.4 선형 회귀분석과 Elastic Net 실습13.2 로지스틱 회귀분석 (분류 모델)___13.2.1 로지스틱 회귀분석 실습13.3 의사결정나무와 랜덤 포레스트(예측/분류 모델)___13.3.1 분류나무와 회귀나무___13.3.2 의사결정나무 모델의 장단점___13.3.3 의사결정나무 모델의 과적합 방지를 위한 방법___13.3.4 랜덤 포레스트___13.3.5 의사결정나무와 랜덤 포레스트 실습13.4 선형 판별분석과 이차 판별분석(분류 모델)___13.4.1 선형 판별분석___13.4.2 이차 판별분석___13.4.3 선형 판별분석과 이차 판별분석 실습13.5 서포트벡터머신(분류 모델)___13.5.1 서포트벡터머신 실습13.6 KNN(분류, 예측 모델)___13.6.1 KNN 실습13.7 시계열 분석(예측모델)___13.7.1 회귀 기반 시계열 분석___13.7.2 ARIMA 모델___13.7.3 시계열 분석 실습13.8 k-means 클러스터링(군집 모델)___13.8.1 k-means 클러스터링 실습13.9 연관규칙과 협업 필터링(추천 모델)___13.9.1 연관 규칙___13.9.2 콘텐츠 기반 필터링과 협업 필터링___13.9.3 연관규칙과 협업 필터링 실습13.10 인공 신경망(CNN, RNN, LSTM)___13.10.1 CNN___13.10.2 RNN과 LSTM___13.10.3 인공 신경망 실습▣ 14장: 모델 평가14.1 학습 셋, 검증 셋, 테스트 셋과 과적합 해결14.2 주요 교차 검증 방법___14.2.1 k-Fold Cross Validation___14.2.2 LOOCV(Leave-one-out Cross-validation)___14.2.3 Stratified K-fold Cross Validation___14.2.4 Nested Cross Validation___14.2.5 Grid Search Cross Validation___14.2.6 주요 교차 검증 방법 실습14.3 회귀성능 평가지표___14.3.1 R-Square와 Adjusted R-Square___14.3.2 RMSE(Root Mean Square Error)___14.3.3 MAE(Mean Absolute Error)___14.3.4 MAPE(Mean Absolute Percentage Error)___14.3.5 RMSLE(Root Mean Square Logarithmic Error)___14.3.6 AIC와 BIC___14.3.7 회귀성능 평가지표 실습14.4 분류, 추천 성능 평가지표___14.4.1 혼동 행렬___14.4.2 정확도, 오분류율, 정밀도, 민감도, 특이도 그리고 f-score___14.4.3 향상도 테이블과 향상도 차트 그리고 향상도 곡선___14.4.4 ROC 곡선과 AUC___14.4.5 수익 곡선___14.4.6 Precision at k, Recall at K 그리고 MAP___14.4.7 분류, 추천 성능 평가지표 실습14.5 A/B 테스트와 MAB___14.5.1 A/B 테스트___14.5.2 MAB14.6 유의확률의 함정14.7 분석가의 주관적 판단과 스토리텔링
