目錄
第1章基礎理論 如何開始學習 1.1術語定義 1.2研究目的 1.3研究視角 1.4發展簡史 1.5理論體系 1.6基本原則 1.7相關理論 1.8人才類型 如何繼續學習 習題 參考文獻 第2章理論基礎 如何開始學習 2.1數據科學的學科地位 2.2統計學 2.3機器學習 2.4數據可視化 如何繼續學習 習題 參考文獻 第3章流程與方法 如何開始學習 3.1基本流程 3.2數據加工 3.3數據審計 3.4數據分析 3.5數據可視化 3.6數據故事化 3.7數據科學項目管理 3.8數據科學中的常見錯誤 如何繼續學習 習題 參考文獻 第4章技術與工具 如何開始學習 4.1數據科學的技術體系 4.2MapReduce 4.3Hadoop 4.4Spark 4.5NoSQL與NewSQL 4.6R與Python 4.7發展趨勢 如何繼續學習 習題 參考文獻 第5章數據產品及開發 如何開始學習 5.1定義 5.2主要特征 5.3關鍵活動 5.4數據柔術 5.5數據能力 5.6數據戰略 5.7數據治理 5.8數據安全、隱私、道德與倫理 如何繼續學習 習題 參考文獻 第6章典型案例及實踐 如何開始學習 6.1統計分析 6.2機器學習 6.3數據可視化 6.4Spark編程 6.52012年美國總統大選 如何繼續學習 習題 參考文獻 附錄A本書例題的R語言版代碼 附錄B數據科學的重要資源 附錄C術語索引 后記
圖目錄
圖11DIKW金字塔模型3 圖12數據與數值的區別4 圖13數字信號與模擬信號4 圖142008—2015年全球數據規模及類型的估計6 圖15大數據的特征7 圖16大數據的本質8 圖17人工智能、機器學習和深度學習的區別與聯系10 圖18DIKUW模型及應用11 圖19數據洞見12 圖110業務數據化與數據業務化12 圖111常用驅動方式13 圖112數據的層次性13 圖113大數據生態系統示意圖14 圖114數據科學的新研究視角15 圖115Gartner技術成熟度曲線16 圖116數據科學的萌芽期（1974—2009年）17 圖117數據科學的快速發展期（2010—2013年）18 圖118數據科學的逐漸成熟期（2014年至今）19 圖119數據科學的理論體系20 圖120數據科學的主要內容20 圖121數據科學的“三世界原則”22 圖122數據科學的“三個要素”及“3C精神”23 圖123計算密集型應用與數據密集型應用的區別24 圖124數據范式與知識范式的區別25 圖125數據管理范式的變化25 圖126數據的“資產”屬性26 圖127常用驅動方式28 圖128CAPTCHA方法的應用28 圖129ReCAPTCHA項目29 圖130數據與算法之間的關系30 圖131BellKors Pragmatic Chaos團隊獲得Netflix獎30 圖132Netflix獎公測結果31 圖133數據科學與商務智能的區別與聯系32 圖134數據科學與數據工程在企業應用中的區別與聯系33 圖135數據科學人才類型及其收入33 圖136RStudio中編輯Markdown的窗口35 圖137數據科學家團隊38 圖138大數據人才應具備的不同知識結構40 圖139學習數據科學的四則原則43 圖21數據科學的理論基礎50 圖22統計方法的分類（行為目的與思路方式視角）52 圖23統計學中的數據推斷53 圖24數據統計方法的類型（方法論視角）53 圖25數據統計基本方法54 圖26元分析與基本分析54 圖27GFT預測與美國疾病控制中心數據的對比55 圖28GFT估計與實際數據的誤差（2013年2月）56 圖29大數據時代的思維模式的轉變58 圖210西洋雙陸棋58 圖211機器人駕駛58 圖212機器學習的基本思路59 圖213機器學習的三要素61 圖214機器學習的類型62 圖215KNN算法的基本步驟63 圖216決策樹示例——識別鳥類65 圖217感知器示例67 圖218前向神經網絡67 圖219歸納學習與分析學習70 圖220增強學習70 圖221機器學習的類型71 圖222IBM Watson72 圖223Pepper機器人73 圖224機器學習中的數據73 圖225Anscombe四組數據的可視化77 圖226John Snow的鬼地圖（Ghost Map）78 圖227在Tableau中加利福尼亞州政府收入來源數據的可視化79 圖31數據科學的基本流程83 圖32量化自我84 圖33規整數據與干凈數據的區別85 圖34規整數據示意圖86 圖35殘差89 圖36數據分析的類型90 圖37Analytics 1.0~3.091 圖38數據加工方法92 圖39數據審計與數據清洗93 圖310缺失數據處理的步驟94 圖311冗余數據處理的方法94 圖312數據分箱處理的步驟與類型96 圖313均值平滑與邊界值平滑96 圖314內容集成98 圖315結構集成99 圖316數據脫敏處理100 圖317數據連續性的定義及重要性104 圖318可視化審計示例106 圖319Gartner分析學價值扶梯模型106 圖320冰激凌的銷售量與謀殺案的發生數量108 圖321數據分析的類型110 圖322拿破侖進軍俄國慘敗而歸的歷史事件的可視化111 圖323可視分析學的相關學科111 圖324可視分析學模型112 圖325數據可視化的方法體系113 圖326視覺圖形元素與視覺通道113 圖327雷達圖示例114 圖328齊美爾連帶114 圖329視覺隱喻的示例——美國政府機構的設置114 圖330地鐵路線圖的創始人Henry Beck115 圖331Henry Beck的倫敦地鐵線路圖116 圖332視覺突出的示例116 圖333完圖法則的示例117 圖334視覺通道的選擇與展示119 圖335視覺通道的精確度對比119 圖336視覺通道的可辨認性——某公司產品銷售示意圖120 圖337視覺通道的可分離性差120 圖338上下文導致視覺假象1121 圖339上下文導致視覺假象2121 圖340對亮度和顏色的相對判斷容易造成視覺假象的示例121 圖341數據可視化表達與數據故事化描述126 圖342數據的故事化描述及故事的展現127 圖343項目管理的主要內容130 圖344數據科學項目的基本流程131 圖412017大數據產業全景圖140 圖42大數據參考架構142 圖43MapReduce執行過程144 圖44MapReduce對中間數據的處理148 圖45以MapReduce為核心和以YARN為核心的軟件棧對比150 圖46下一代MapReduce框架151 圖47Apache的Hadoop項目151 圖48Hadoop生態系統152 圖49Hadoop MapReduce數據處理過程153 圖410Apache Hive官方網站155 圖411Apache Pig官方網站156 圖412Apache Mahout官方網站157 圖413Apache HBase官方網站157 圖414HBase與Hadoop項目158 圖415HBase的邏輯模型159 圖416Apache ZooKeeper官方網站160 圖417Apache Flume官方網站161 圖418Apache Sqoop官方網站162 圖419Spark 技術架構163 圖420Spark的基本流程164 圖421Spark的執行步驟169 圖422Lambda 架構的主要組成部分171 圖423傳統關系數據庫的優點與缺點172 圖424關系數據庫技術與NoSQL技術之間的關系174 圖425NoSQL數據分布的兩個基本途徑175 圖426分片處理176 圖427主從復制177 圖428對等復制178 圖429數據不一致性179 圖430CAP理論180 圖431Memcached官方網站183 圖432一致性散列的分配方式184 圖433服務器增加時的變化184 圖434云計算的演變過程188 圖435數據管理的新變化190 圖4362016—2018年數據科學相關項目中軟件產品的使用率（%）192 圖4372019年Gartner數據科學和機器學習平臺魔力194 圖51數據產品開發中的數據與數據柔術201 圖52知識范式與數據范式203 圖53數據產品的多樣性204 圖54數據產品的層次性205 圖55Google全球商機洞察（Google Global Market Finder）206 圖56數據產品鏈207 圖57傳統產品開發與數據產品開發的區別208 圖58D.J.Patil209 圖59UI(User Interface)設計方案與設計思維210 圖510Google搜索的用戶體驗211 圖511人與計算機圖像內容識別能力的不同211 圖512Amazon Mechanical Turk平臺213 圖513一個HIT的生命周期213 圖514基于人與計算機的數據處理成本曲線214 圖515亞馬遜的數據產品——其他商家（Other Sellers）215 圖516LinkedIn的數據產品——你可能認識的人們（People you may know）216 圖517LinkedIn的數據產品——你的觀眾是誰216 圖518逆向交互定律217 圖519LinkedIn數據產品——崗位推薦219 圖520LinkedIn的數據產品——幫助你的朋友找到工作220 圖521Facebook的良好用戶體驗220 圖522DMM模型基本思路222 圖523CMM基本思想222 圖524CMM成熟度等級224 圖525DMM關鍵過程域225 圖526DMM層級劃分及描述227 圖527IDEAL模型229 圖528組織機構數據管理能力成熟度評估結果的可視化229 圖529數據戰略與數據管理目標的區別230 圖530數據戰略的目標231 圖531數據戰略的側重點231 圖532數據戰略的范疇231 圖533數據管理與數據治理的區別233 圖534IBM提出的企業數據管理的范疇233 圖535數據治理的PDCA模型234 圖536DGI數據治理框架235 圖537P2DR模型237 圖538從歐洲大陸的空戰中返回的轟炸機238 圖61KMeans算法的基本步驟267 圖62奧巴馬2012年總統競選芝加哥總部287 圖63George Clooney288 圖64Sarah Jessica Parker288 圖65奧巴馬及“快速捐贈計劃”290 圖66奧巴馬通過Reddit與選民互動291 圖672012年美國總統競選財務數據官方網站292 圖A1女性體重與身高的線性回歸分析314 圖A2工資數據的可視化327 圖A3起飛延誤時間339 圖A4到達延誤時間339 圖A5捐助人職業、黨派及捐助額度分析352 圖A6分箱處理后的捐款數據可視化353 圖A7捐款日期與金額的可視化354 圖A8捐款月份與金額變化分析355 圖A9投票結果的可視化357
表目錄
表11結構化數據、非結構化數據與半結構化數據的區別與聯系5 表12某數據科學家的畫像（Profile）37 表21參數估計與假設檢驗的主要區別53 表22統計學與機器學習的術語對照表57 表23機器學習的相關學科61 表24已知6部電影的類型及其中出現的接吻次數和打斗次數64 表25已知電影與未知電影的距離64 表26分析學習和歸納學習的比較70 表27Anscombe的四組數據（Anscombes Quartet）76 表31測試數據A86 表32測試數據B86 表33測試數據C86 表34Pew論壇部分人員信仰與收入數據統計（規整化處理之前）87 表35Pew論壇部分人員信仰與收入數據統計（規整化處理之后）87 表36探索性統計中常用的集中趨勢統計量89 表37探索性統計中常用的離散程度統計量89 表38探索性統計中常用的數據分布統計量89 表39常見的數據變換策略97 表310十進制**數字的使用概率103 表311數據分析中常見錯誤109 表312數據類型及所支持的操作類型118 表313數據類型與視覺通道的對應關系118 表314數據故事化描述應遵循的基本原則128 表315數據科學項目中的主要角色及其任務130 表41Transformation常用函數166 表42Action常用函數166 表43RDD的存儲級別167 表44Spark數據類型和R數據類型之間的映射關系170 表45較有代表性的云數據庫產品174 表46NoSQL數據庫中常用的數據模型175 表47R與Python對比186 表48云計算的基本類型189 表49排名前10位數據科學產品的使用率及變化情況/4 表51數據轉換與數據加工的區別202 表52Google公司的十大產品與服務202 表53數據管理成熟度模型的過程域分類226 表54信息系統安全等級及保護基本要求237 表55腎結石治療數據分析——兩種治療方案的分別統計240 表56兩種治療方案的匯總統計240 表61數據集women248 表62Protein數據集266 表63工資信息274 表64各字段的名稱及含義292 表A1Spark版本差異性331 表A2Spark與R的數據類型對比332 表A3SparkR與sparklyr比較340