“所有模型都是错的，但有些是有用的（All models are wrong, but some are useful）。”——George Box
“必须始终牢记模型的近似性（The approximate nature of the model must always be borne in mind）。”——George Box
“模型的目的不是去拟合数据，而是去锐化问题（The purpose of models is not to fit the data but to sharpen the questions）。”——Samuel Karlin

影响图的动机（Motivating Influence Diagrams）

有向图形模型，包含 4 类节点：
‣ 随机节点（chance nodes）、已知变量节点（known variable nodes）、行动/决策节点（action/decision nodes）以及目标/效用节点（objective/utility nodes）
用于刻画决策问题中的“影响”“因果”、随机（“机会”）结果、“行动”“目标”等要素
提供一种粗粒度抽象，即概念模型

2. 可视化统计（Visualising Statistics）

2.1 Growth laws

摩尔定律（Moore’s Law）
- 每片芯片上的晶体管数量 每 2 年翻一番（始于 1975 年）
- 晶体管数量带来的影响：
  - 更多内存
  - 更大的 CPU
  - 更快的内存与 CPU（更小 == 更快）
- 当前增速在放缓
Koomey 定律（Koomey’s Law）
- 摩尔定律的推论
- 每十年所需电池量下降 100 倍
- 导向无处不在的计算（ubiquitous computing）
贝尔定律（Bell’s Law）
- 摩尔定律与 Koomey 定律的推论
- “大约每十年，基于新的编程平台、网络与界面，会形成一类更低价格的计算机，带来新的用法，并促成新产业的建立。”
- 例如：PC → 移动计算 → 云 → 物联网
Zimmerman 定律（Zimmerman’s Law）
- Zimmerman 是 PGP（Pretty Good Privacy）早期加密系统的创建者
- “监控在持续增加”
- 隐私在持续减少

Growth and business

随着信息技术的发展以及更多数据的收集

企业利用它
企业对它的态度改变
企业将它纳入其商业模式

2.2 Business Models

商业模式描述了一个组织在经济、社会、文化或其他情境中创造、传递并获取价值的基本原理。

通用类别示例（Examples of general classes）：

零售商（Retailer） vs. 批发商（wholesaler）
奢侈消费品（Luxury consumer products）
软件供应商（Software vendor）
服务提供商（Service provider）

彭博终端（Bloomberg terminal）

由 Bloomberg L.P. 提供的计算机系统
使专业人士能够监控与分析实时金融市场数据
还能在电子交易平台上下单交易
基于专有的安全网络
彭博提供的是一种信息经纪服务（information brokering service）。
Broker（经纪人）：为他人买卖商品或资产的人。

Amazon.com

面向零售行业的装配线，并支持嵌入式在线零售商
易于搜索的海量图书、DVD、CD 等库存
面向零售行业的装配线，并支持嵌入式在线零售商
易于搜索的海量图书、DVD、CD 等库存
大量的客户评价（Extensive customer reviews）
基于信息的差异化（Information-based differentiation）：通过提供差异化服务来满足客户：
- 包括对产品的优质信息（如评论）
- 更优的品类范围（superior range）
基于信息的交付网络（Information-based delivery network）：为他人传递信息；亚马逊平台上的零售商可获得：
- 被引流来的客户
- 其他零售商的支持

LexisNexis

提供全球最大的法律与公共记录相关电子数据库

信息提供者（Information provider）：

销售其所收集数据/信息的企业；这更像一种传统商业模式，只是销售的是数据而非实物产品。（后 2000 年）IT 行业增长最快的细分领域

有人称其为数据经济（data economy）

数据商业模式（Data Business Models）

信息经纪服务（Information brokering service）： 为他人买卖数据/信息。
基于信息的差异化（Information-based differentiation）： 构建于数据/信息之上的差异化服务以满足客户。
基于信息的交付网络（Information-based delivery network）： 为他人传递数据/信息。
信息提供者（Information provider）： 销售其所收集的数据/信息。

3. 可视化统计（Visualising Statistics）

什么是统计学（What is statistics?）

“在大规模样本中收集与分析数值型数据的实践或科学，尤其是从具有代表性的样本推断总体比例。”

两大统计分析方法：

描述统计（descriptive statistics）——解释数据；
推断统计（inferential statistics）——在“不规则数据”中寻找“规律”

统计中的“计数”（Counting data）

数据可以用多种方式进行计数，包括……

有多少数据/记录（how much/how many records）；
数据有多大（how large is the data）；
有多少唯一值（how many unique values）；
每个值有多少出现次数（how many instances of each value）；
某一分组/桶（bucket）中有多少实例（how many instances of a group）。

这些取值不一定是数值型（The values don’t have to be numerical）。

众数与中位数（Mode and Median）

中位数（Median）： 数据中位于中间的值。
例：数据 1, 2, 2, 3, 3, 4, 4, 4, 5，中位数 = 3。
注意： 数据必须有序且为数值型。
众数（Mode）： 数据中最常见的取值。
例：数据 1, 2, 2, 3, 3, 4, 4, 4, 5，众数 = 4。
注意： 数据不一定必须为数值型。

均值（Mean）

均值： 平均值。
例：数据 1, 2, 2, 3, 3, 4, 4, 4, 5，均值 = 3.111。
注意： 数据必须为数值型。
均值有时记作 xˉ\bar{x}xˉ（样本均值）。
众数、均值与中位数帮助我们描述期望的数据位置，但不能告诉我们数据差异有多大。

离差与方差（Deviation and variance）

其他度量用于描述数值取值的变化程度：
- 方差（variance）： 各取值偏离均值的程度的平均。
- 标准差（standard deviation）： 方差的平方根。

不同的变量类型（Different variable types）

分类/定性（Categorical, qualitative）
- 分组或类别
- 名义型（Nominal）：无自然顺序
- 有序型（Ordinal）：有顺序
定量（Quantitative）
- 数值型（Numerical）
- 离散型（Discrete）：如计数
- 连续型（Continuous）：如时间与日期（时序），空间（位置）

绘制计数（Plotting counts）

条形图（bar charts）
直方图（histograms）
散点图（Scatter plot）
折线图（Line graph）

添加统计量（Adding statistics）

在可视化中常加入均值或中位数来展示某种“常态”程度。
- 不一定是基准；
- 并非所有图都易于加入均值/中位数（如饼图）；
- 可用于帮助可视化方差。

异常值（Outliers）

并非所有数据都适合分析。异常值是超出数据期望范围的取值：
- 可能来自错误、特殊情形或偶然性（chance）。
在完成分析之前需要识别并决定如何处理：
- 它们会影响均值的计算；
- 因此要对其进行整理（wrangle）！

箱线图（Boxplots）

结合四分位数（quartiles）、中位数与异常值。
四分位数（Quartile）：
- 按变量将数据划分为四等份；
- 上四分位数、中位数、下四分位数分别位于四分位边界；例如：25% 的数据小于或等于下四分位数。
四分位距（IQR）： 上、下四分位数之差。
异常值（Outliers）：
- 低于 Q1 − 1.5×IQR；
- 高于 Q3 + 1.5×IQR。
“须”（Whiskers）：
- 用于显示落在 IQR 之外但不属于异常值的数据范围
R 语言会为你完成许多此类计算

时间序列数据——动态图表（Temporal data - Motion Charts）

使我们能够关注多变量随时间的关系。

动态图表——优缺点（Motion Charts – pros & cons）

优点：
- 时间维度带来更深入的洞察与趋势观察；
- 适合探索性分析；
- 动态呈现有助于发现偏离常态的“节奏之外”现象；
- “在更本能直觉的层面与大脑产生共鸣”。
缺点：
- 不适合静态媒介；
- 显示可能过于繁复，控件也较复杂；
- 并非适合所有数据类型（例如，某些商业数据或许可采用其它图形更好）；
- “涉足可视化的数据科学家必须意识到使用上的局限”。

我应该使用哪种可视化？（What visualisation should I use?）

https://www.reddit.com/r/dataisbeautiful/ —— 汇集好与坏的数据可视化案例；
https://www.kdnuggets.com/2019/02/best-worst-data-visualization-2018.html；
https://365datascience.com/chart-types-and-how-to-select-the-right-one/
FIT5147： 数据探索与可视化（Data exploration and visualisation）！

课程目录