跳到正文 ChatGPT说 · Jimmy Huang's Blog
国家名有 Brazil / Brasil / BRA / brazil，会影响分组统计；
员工一天工作 500 小时，会拉高平均值，导致分析失真。
1.2 Data Quality 关注的核心特征 Accuracy ：准确性；
Completeness ：完整性；
Reliability ：可靠性；
Relevance ：相关性；
Timeliness ：及时性。
高质量数据 = 正确、完整、一致、及时、相关、可信的数据。
2. 为什么 Data Quality 重要？ 数据质量差会导致非常多后果。Quiz 里如果问 poor data quality 的影响，可以从下面几个方向理解。
2.1 Inaccurate decision making：错误决策 销售数据重复记录，导致公司误以为某产品很畅销；
客户地址错误，导致错误判断某地区需求很高；
预测模型使用脏数据训练，输出结果不可靠。
2.2 Reduced efficiency and productivity：效率降低 数据分析前要花很多时间处理缺失值；
客服系统里客户信息不一致，需要人工确认；
多个部门数据不统一，导致重复沟通。
2.3 Increased costs：成本增加 发货地址错误导致重新配送；
财务数据错误导致审计成本增加；
数据修复需要额外人力和时间。
2.4 Compliance and legal risks：合规与法律风险 如果数据不准确、不完整或管理不当，可能违反监管要求。
医疗数据错误；
金融交易记录不完整；
个人隐私数据处理不合规。
2.5 Customer dissatisfaction：客户不满意 姓名写错；
推荐系统推荐不相关内容；
会员信息错误导致优惠无法使用。
2.6 Reputation and trust：声誉和信任受损 如果一个组织经常出现数据错误，用户、合作方和投资者都会降低信任。
3. Data Quality Dimensions vs Data Quality Measures
3.1 Data Quality Dimensions：数据质量维度
3.2 Data Quality Measures：数据质量指标
3.3 最重要区别 Dimension 是“评价方向”，Measure 是“量化工具”。
4. Data Quality Challenges：为什么数据质量难保证？ 数据质量问题通常不是单一原因造成的，而是由技术、组织、数据复杂度和业务变化共同造成。
4.1 Volume and Variety of Data：数据量大、类型多 CSV；
JSON；
XML；
relational database；
web forms；
sensor data；
API data；
log data。
4.2 Data Silos：数据孤岛 Data silo = 不同部门或系统各自保存数据，彼此不共享或不一致。
Marketing 有一份客户信息；
Sales 有一份客户信息；
Support 也有一份客户信息。
结果同一个客户在不同系统中的姓名、电话、地址可能不同。
4.3 Evolving Data：数据会变化 数据不是静态的。业务规则、系统字段、法律要求都会变化。
以前注册只需要 email，现在还需要 phone number 和 address。旧用户数据就可能缺字段。
4.4 Human Error：人为错误 拼写错误；
日期填反；
字段填错位置；
单位写错；
复制粘贴错误。
4.5 Lack of Data Governance：缺少数据治理 谁负责数据、数据应该按什么标准填、出错后怎么处理。 每个人按自己的习惯填数据；
没有统一格式；
没有人负责检查；
出错后没有修复流程。
4.6 Complexity of Data Integration：数据整合复杂 多个系统合并时，经常出现字段名、结构和含义不一致的问题。
一个系统叫 CustomerID；
另一个系统叫 Client_ID；
第三个系统叫 CID。
4.7 Inadequate Tools：工具不足 没有合适的数据质量工具，就难以及时发现、修正和预防问题。
4.8 Poor Awareness：数据质量意识不足 如果组织成员不重视数据质量，就不会优先投入资源解决数据问题。
5. Data Anomalies：数据异常
5.1 什么是 Data Anomalies？ Data anomaly = 数据中偏离正常模式的异常现象。
数据录入错误；
系统错误；
真实但罕见的事件；
欺诈行为；
业务异常。
6. 三类 Data Anomalies Week 7 最核心的内容之一是三类 anomalies：
Point Anomalies
Contextual Anomalies
Collective Anomalies
6.1 Point Anomaly：单点异常
定义 Point anomaly = 单个数据点明显偏离其他数据。
通俗解释
PDF 示例逻辑 员工工作时间大多数是 4、6、8、10 小时，但有一个员工的 Work_Hour = 500。
更多例子 年龄 = 999；
考试成绩 = 500，但满分 100；
一天工作 500 小时；
商品价格突然是 $1,000,000；
一天走路 500,000 步。
Quiz 关键词 single data point；
individual value；
extreme value；
significantly deviates；
outlier。
6.2 Contextual Anomaly：上下文异常 / 条件异常
定义 Contextual anomaly = 一个数据点在某个特定 context 下异常，但在其他 context 下可能正常。
通俗解释 值本身不一定奇怪，但放在特定时间、地点或条件下就奇怪。
PDF 示例逻辑
更多例子 夏天 35°C 正常，冬天 35°C 异常；
圣诞节销量高正常，普通周二突然销量暴涨可能异常；
白天办公室用电高正常，凌晨办公室用电高可能异常；
周末商场人多正常，凌晨 3 点人流暴增异常。
Quiz 关键词 看到这些词，通常是 Contextual Anomaly：
6.3 Collective Anomaly：集体异常 / 序列异常
定义 Collective anomaly = 一组相关数据点整体表现异常。
通俗解释
PDF 示例逻辑
更多例子 一次登录失败正常，10 分钟内失败 100 次可能是攻击；
一笔 $5 消费正常，一小时内连续 50 笔 $5 消费异常；
一个传感器读数正常，但连续一整段时间完全相同可能异常；
一个订单正常，但同一用户短时间大量重复下单异常。
Quiz 关键词 看到这些词，通常是 Collective Anomaly：
6.4 三类 Anomaly 对比总结
7. Anomaly Detection：异常检测方式
7.1 Statistical Methods：统计方法 超过平均值太多；
超过正常范围；
超过几个标准差；
极端 outlier。
7.2 Machine Learning Models：机器学习模型
7.3 Domain-specific Rules / Thresholds：领域规则 / 阈值 年龄必须在 0–120；
工作时长不能超过 24；
结束日期不能早于开始日期；
商品价格不能为负数；
postcode 必须符合国家格式。
7.4 重要提醒 detect；
investigate；
determine cause；
decide how to handle。
8. Data Quality Issues：常见数据质量问题 Incomplete data；
Inaccurate data；
Inconsistent data；
Data duplication。
8.1 Incomplete Data：数据不完整
含义
例子 缺 email；
缺 country；
缺 postcode；
缺 end date；
用户地址只有 suburb，没有完整地址。
重点
8.2 Inaccurate Data：数据不准确
含义
例子 年龄 = 300；
工作时间 = 500；
日期写成 1905；
国家写错；
金额录入错误。
重点
8.3 Inconsistent Data：数据不一致
含义 同一个东西在不同地方表达不统一，或者多个字段之间冲突。
例子 Brazil, Brasil, BRA, brazil 混用；
DOB 显示 2000 年出生，但 Age 写 40；
Status 是 In process，但 End Date 已经填了完成日期；
同一个国家一会儿写英文，一会儿写中文，一会儿写 ISO code。
重点
8.4 Data Duplication：数据重复
含义
例子
重点 有时需要通过 matching / merging 判断它们是不是同一个实体。
9. 按数据来源分类：Single-source vs Multi-source Problems Single-source problems；
Multi-source problems。
9.1 Single-source Problems：单一来源问题
含义
9.1.1 Schema Level：结构层面问题 Schema level 指数据表设计或约束有问题。
没有设置 primary key；
没有 uniqueness constraint；
没有 referential integrity；
字段类型设计不合理；
mandatory fields 没有 enforced。
9.1.2 Instance Level：具体数据值问题 Instance level 指表里的具体记录或值有问题。
misspellings；
typos；
duplicated records；
contradictory values；
data entry errors。
9.2 Multi-source Problems：多来源问题
含义 例如把两个系统的 customer data 合并。
9.2.1 Schema Level：结构冲突 一个系统叫 CustomerID，另一个叫 ClientNo；
一个字段叫 Surname，另一个叫 LastName；
一个系统把地址拆成 street/suburb/postcode，另一个系统把地址放在一个字段；
两个系统的字段含义不同但名字相似。
9.2.2 Instance Level：数据值冲突 系统 A 里客户电话是 0400；
系统 B 里客户电话是 0411；
系统 A 里地址是 Melbourne；
系统 B 里地址是 Clayton。
9.3 对比总结
10. 按数据类型分类：Syntactical / Semantic / Coverage Anomalies
10.1 Syntactical Anomalies：语法 / 格式异常
含义 Syntactical anomalies 关注格式、拼写、表示方式。
10.1.1 Lexical Errors：词汇错误 / 拼写错误 Austrlia instead of Australia；
argantin instead of Argentina；
Tansania instead of Tanzania。
10.1.2 Domain Format Errors：领域格式错误 Wray Lindsay Buntine
Wray L. Buntine
Buntine, Wray Lindsay
10.1.3 Irregularities：不规则表达 salary 有的用 AUD，有的用 USD；
面积有的用 hectare，有的用 acre；
日期有的写 2026-05-27，有的写 27/05/2026；
国家有的写 full name，有的写 abbreviation；
电话号码有的带空格，有的带 dash，有的带括号。
10.1.4 记忆方式 Syntactical = 格式 / 拼写 / 表达方式的问题。
10.2 Semantic Anomalies：语义 / 逻辑异常
含义 Semantic anomalies 关注数据含义和逻辑关系。
常见类型
例子
记忆方式 Semantic = 含义 / 逻辑 / 约束的问题。
10.3 Coverage Anomalies：覆盖异常 / 缺失异常
含义 Coverage anomalies 关注数据是否覆盖完整。
常见类型 missing values；
missing observations。
例子 某些记录缺 Country；
某些年份没有任何数据；
某些国家或地区完全没有被覆盖；
某些用户没有地址；
大量 End Date 缺失。
记忆方式
10.4 三类对比总结
11. Dirty Data 的三种表现 missing data；
not missing but wrong data；
not missing and not wrong but unusable。
11.1 Missing Data：数据缺失
含义
例子 phone number 为空；
email 缺失；
End Date 缺失；
Country 缺失。
补充理解 如果一个字段本来应该 enforced not-null，但实际缺失，那就是更严重的数据质量问题。
11.2 Not Missing but Wrong Data：数据没缺，但错了
含义
常见情况
例子
11.3 Not Missing and Not Wrong but Unusable：数据没缺、也不一定错，但不可用
含义 数据不是空，也不一定明显错误，但因为表达不清楚、不标准，导致难以使用。
例子 Dr. 可能是 Doctor，也可能是 Drive；
Sydney 可能是 Australia，也可能是 Canada；
st 可能是 street，也可能是 saint；
Bill Clinton 和 President Clinton 指同一个人；
电话号码有的写 0400 000 000，有的写 (0400)-000-000；
货币有的 AUD，有的 USD，但没说明；
编码格式不同导致乱码；
measurement units 不统一。
重点
12. Data Quality Management Framework：数据质量管理框架
12.1 通俗解释 Data Quality Management Framework 不是发现一个错误就修一个错误，而是建立一套长期机制，持续保证数据质量。
什么叫好数据？
谁负责数据质量？
数据标准是什么？
如何评估数据质量？
如何发现问题？
如何修复问题？
如何持续监控？
如何培训相关人员？
12.2 框架包含的部分 Data Quality Dimensions；
Data Governance；
Data Quality Standards；
Data Quality Assessment；
Data Quality Improvement；
Data Quality Monitoring；
Data Quality Tools & Technologies；
Compliance & Regulatory Consideration；
Training & Awareness。
12.3 实施框架的关键点 Data Quality Management Framework 是一个 iterative process，也就是反复迭代的过程。
strong governance；
clear communication；
effective technology；
stakeholder engagement；
continuous improvement。
12.4 记忆方式 定义什么是好数据；
制定标准；
分配责任；
评估数据质量；
修复问题；
持续监控；
培训员工；
保证合规。
13. Machine Learning 在 Data Quality 中的作用
13.1 ML 可以做什么？ Automated Error Detection；
Data Cleansing；
Predictive Data Quality；
Enhanced Data Matching and Merging；
Natural Language Processing；
Data Governance and Metadata Management；
Data Enrichment；
Continuous Monitoring and Improvement。
13.2 通俗例子 自动发现异常交易；
自动识别重复客户；
自动纠正拼写错误；
自动从文本中抽取地点或人名；
自动预测哪些数据最可能出问题；
自动监控数据漂移；
自动匹配多个系统里的同一实体。
13.3 注意点 ML 可以帮助发现和修复问题，但仍然需要业务规则、数据治理和人工判断。
14. Quiz 最容易考的概念区分
14.1 Dimension vs Measure
14.2 Accuracy vs Completeness Accuracy 管“对不对”，Completeness 管“有没有”。
14.3 Accuracy vs Consistency 一个数据可能 consistent 但不 accurate。
例如两个系统都把某人年龄写成 40，但真实年龄是 25。它们彼此一致，但不准确。
14.4 Point vs Contextual vs Collective Anomaly
14.5 Syntactical vs Semantic vs Coverage
14.6 Single-source vs Multi-source
14.7 Missing vs Wrong vs Unusable
15. 最终逻辑总图
16. 最后速记版 Data Quality = 数据是否适合使用。
Poor data quality 会导致错误决策、效率降低、成本增加、客户不满、合规风险和声誉损失。
Dimensions 是评价方向，例如 Accuracy、Completeness、Consistency。
Measures 是具体指标，例如 Error Rate、Fill Rate、Duplicate Rate、Latency。
Point anomaly = 单个点异常。
Contextual anomaly = 特定上下文下异常。
Collective anomaly = 一组点整体异常。
Incomplete = 缺值。
Inaccurate = 有值但错。
Inconsistent = 不一致或冲突。
Duplicate = 重复实体。
Single-source = 一个数据源内部的问题。
Multi-source = 多来源整合后冲突。
Syntactical = 格式 / 拼写 / 表达问题。
Semantic = 含义 / 逻辑 / 约束问题。
Coverage = 缺失 / 覆盖不足。
Dirty data 有三种：missing、wrong、unusable。
Data Quality Management Framework 是长期、迭代、持续改进的数据质量管理机制。
ML 可以帮助自动检测、清洗、匹配、监控数据质量问题。
异常不一定是错误，发现后要先调查原因。
17. 一句话总结 Week 7 的核心是：学会用 Data Quality 的视角识别数据问题，并能把问题准确分类为缺失、错误、不一致、重复、格式异常、语义异常、覆盖异常、单点异常、上下文异常或集体异常。 Data Wrangling
↓
Data Quality
↓
Data Quality Dimensions
↓
Data Quality Measures
↓
Data Quality Issues
├── Incomplete data
├── Inaccurate data
├── Inconsistent data
└── Data duplication
↓
Data Anomalies
├── Point anomalies
├── Contextual anomalies
└── Collective anomalies
↓
Quality Problem Classification
├── By source: Single-source / Multi-source
└── By type: Syntactical / Semantic / Coverage
↓
Data Quality Management Framework
↓
Continuous improvement + ML support