这一页有部分内容暂时无法显示，其余内容完整。

Big data is a big deal

🟩 开场故事（00:00–01:16）

• 用“苹果派”例子引出“数据量的差异会改变我们看到的结果”，强调：更多数据让我们看到不同（not just more）。

🟨 中段展开（01:16–09:22）

• 引出“大数据”的定义和意义。
• 用“信息载体的演变”（石盘 → U盘）说明：信息的流动性（liquidity）提升了。
• 举例“位置数据”“坐姿数据”等，说明数据化（datafication）正在改变生活。
• 强调机器学习的重要性，讲述 IBM 的 Arthur Samuel 开发自学下棋程序的故事，引出：机器学习让计算机超越人类知识。

🟥 未来与风险（11:16–14:47）

• 预警一：预测惩罚（predictive policing）会侵犯自由意志。
• 预警二：大数据可能导致白领职业消失。
• 最后：我们要成为大数据的主人，而非仆人，呼吁对信息层的重视（重“information”，不只是“technology”）。

What is Data Science," by Mike Loukides

此处有一段内容暂不支持显示。

1) 核心观点：数据科学与“数据产品”

• 数据科学的价值在于把数据直接做成“数据产品”（data products）：应用的价值来自数据本身，并且用户在使用中不断产生数据、反过来提升产品（反馈回路）。Facebook/LinkedIn 利用关系网络做“可能认识的人”，Amazon 将用户搜索与他人行为相关联生成推荐，都是典型的数据产品。用户贡献的数据反过来增强产品，这是数据科学起点。
• 经典案例 CDDB：把“音乐问题”转化为“数据问题”，通过曲目长度特征与元数据匹配，创造全新价值，这种从数据视角重构问题的方法具有革命性。

2) 数据从哪里来（Data Sources）

• 数据已无处不在：政府/网站日志/业务伙伴/身体传感等；Web 2.0 与移动应用使人们持续在线并留下更丰富的数据（带地理标注、音视频等），POS 与会员卡记录线下交易；摩尔定律在存储与算力上的跃升使这些数据得以保存与利用。
• 数据融合（Mashup）成为常态：例如利用公开止赎报告→地址→地理编码→地图→按社区与收入等要素分组，跨源整合产出新的洞见。

3) 数据整备（Data Conditioning）与质量

• 野生数据常脏乱且格式不一，需要抓取与清洗（如解析 HTML、处理多种格式），再进入后续分析流程。
• 数据缺失/冲突是常态：要决定忽略、插值还是把“异常”当作新信号（历史上臭氧空洞的低值曾被自动化流程忽略，提示了“异常数据”的风险与价值）。
• 自然语言歧义需借助 NLP 解决（如区分“Apple”语义）或通过 Mechanical Turk 以低成本人工标注、分类，快速获得训练/标注数据集。

4) 在规模上工作（Working with Data at Scale）

• 信息平台 / 数据空间：与传统数仓不同，强调开放 API、用于探索理解数据，能接纳“最乱”的数据并随理解演进模式（schema）。
• 传统关系型数据库在海量数据、碎片化与提前建模要求上受限；分析类问题并不总需要“强一致”，更关注“比较性”与量级趋势。于是出现面向分布式、最终一致与灵活模式的非关系型（NoSQL）数据库。代表如 Cassandra、HBase（BigTable/Dynamo 思路），面向跨节点分布与自动复制。
• 计算框架：Google 推广的 MapReduce 用“分而治之”把特大任务拆为可并行的 map，再由 reduce 汇总；Hadoop 生态（文中提到）围绕这一思想支撑对超大数据集的处理。

5) 敏捷与近实时分析

• 借助大规模并行计算，可以更快完成实验、测试不同假设与算法，实现“敏捷”式数据分析迭代。对于趋势话题等场景，并不需要毫秒级硬实时，预计算结合实时 MapReduce 足以生成“当前到几分钟/一小时内”的可用结果。

6) 机器学习与统计：两大基石

• 机器学习：推荐系统、分类、错误检测、图像匹配/人脸检测等已成为 Web/移动应用常见能力；生态中有 PyBrain、Weka、Mahout（配合 Hadoop）等库与 Google Prediction API，计算机视觉常用 OpenCV。
• 统计学是“数据科学的语法”，用于检验显著性、避免把随机波动当成结论；统计并未被 ML 取代，而是与之互补。常用工具 R 与 CRAN 提供近乎“一站式”统计分析与可视化扩展。

7) 可视化：让数据“讲故事”

• 可视化能把“成千上万的数字”转化为“可读的图景”，既用于检查数据质量，也常是探索性分析的第一步；实践者强调先画大量散点图寻找线索，再深入建模。Tufte 的《The Visual Display of Quantitative Information》被视作领域经典。
• 工具与资源示例：Gnuplot、R 图形、Processing、IBM Many Eyes；FlowingData 展示的沃尔玛扩张动画体现了“把数据讲成故事”的审美与洞见并重。

8) 数据科学家（角色与能力画像）

• 数据科学家需跨界：能写数据管道、做假设检验与回归（R）、在 Hadoop 上实现算法，并能把结果讲清楚（沟通）。Facebook 的团队经验表明，这是一种从工程到分析再到表达的全链路角色。
• 人才背景与方法论：LinkedIn 的 DJ Patil 指出，优秀的数据科学家常来自“硬科学”（如物理），强调在不完美数据中“逼出故事”的创造力与韧性，并以创业者心态、迭代式把大问题拆成可解的小问题，逐步做成数据产品。
• 面向未来的能力：能理解、处理、提炼、可视化并传播数据洞见的能力将在未来几十年尤为关键（Hal Varian 语）。

9) 就业与趋势

• 行业招聘与生态增长：O’Reilly 的数据表明与 Hadoop、Cassandra 相关职位逐年增长，反映了数据科学整体市场的扩张与技术栈的成熟。