跳到正文FIT5196 Seminar Week 7 · Jimmy Huang's BlogFIT5196 Seminar Week 7
本页目录· 40 条
ChatGPT说›Learning Outcomes
理解数据质量（Data Quality）的定义，以及为什么它是数据整理（Data Wrangling）后半部分的基础。
区分数据质量维度（Data Quality Dimensions）和数据质量度量（Data Quality Measures）。
能够从准确性、完整性、一致性、及时性、相关性、可靠性等角度评估数据是否适合用于分析。
理解常见数据质量挑战，包括数据量大、来源复杂、数据孤岛、人为错误、治理不足、合规和资源限制等。
识别三类数据异常（Data Anomalies）：点异常、上下文异常、集合异常。
理解数据质量问题可以按“数据来源”和“数据类型”进行分类。
理解脏数据（Dirty Data）的三种表现形式：缺失、错误、以及虽然看起来正确但无法使用。
初步了解数据质量管理框架（Data Quality Management Frameworks）和机器学习在数据质量管理中的作用。
本周在课程中的位置
本周从前几周的数据整理流程回顾开始，将课程重点转向“数据质量”。前面已经学习过数据发现、数据收集、数据清洗、预处理、转换、增强、存储和验证等任务；而从 Week 7 开始，课程进入更深入的质量评估与清洗阶段。
可以这样理解：
前几周更关注“如何把数据拿到、整理成可以处理的形式”。
本周开始关注“这些数据到底能不能信、能不能用、哪里可能有问题”。
下周主题是数据清洗（Data Cleansing），因此 Week 7 的数据质量和异常识别，是后续清洗工作的前置基础。
课件中强调，数据结构化（Data Structuring）的目标是让数据能够被高效访问、处理和操作，同时提高速度、可访问性，并降低资源消耗。也就是说，数据整理不只是把文件读进来，而是要让数据变成后续分析、建模和决策真正可用的资产。
1. 数据质量（Data Quality）是什么
数据质量（Data Quality）指的是数据在某种使用场景下的状态或条件，它受到多个因素影响，包括：
准确性（Accuracy）
完整性（Completeness）
可靠性（Reliability）
相关性（Relevance）
及时性（Timeliness）
高质量数据对于企业、政府和组织非常重要，因为它能支持更可靠的决策、提升运营效率，并帮助组织获得竞争优势。
数据质量不是一个抽象口号，而是在问：这份数据是否足够准确、完整、可信、及时，并且适合当前任务？
同一份数据在不同任务中质量评价可能不同。例如，十年前的销售数据用于历史趋势分析可能仍然有价值，但用于预测明天股价或实时市场行为就可能不够及时。
2. 为什么数据质量重要
2.1 高质量数据带来的价值
课堂中特别强调，数据是支撑“证据型决策”的基础。如果数据质量差，即使模型或分析工具看起来很先进，最后得到的结论也可能是错误的。
2.2 低质量数据的影响
决策不准确
效率和生产力下降
成本增加
组织声誉受损
合规和法律风险上升
客户不满意
战略方向被误导
竞争优势下降
数据安全和隐私问题
分析和预测错误
数据分析的结果不会比输入数据更可靠。输入数据如果有缺陷，后续清洗、建模、预测和决策都会被影响。
3. 数据质量维度与数据质量度量
3.1 数据质量维度（Data Quality Dimensions）
数据质量维度是用于评价数据质量的“方向”或“类别”。它们是定性的判断框架，帮助我们知道应该从哪些角度检查数据。
3.2 数据质量度量（Data Quality Measures）
数据质量度量是用于量化数据质量的具体指标。维度告诉我们“检查什么”，度量告诉我们“怎么量化检查结果”。
4. 数据质量挑战（Data Quality Challenges）
数据质量问题通常不是单一原因造成的，而是技术、组织、数据本身复杂性和外部环境共同作用的结果。
4.1 数据量和数据类型多样性
现代组织会产生大量数据，并且数据类型越来越多样，包括表格、文本、图像、日志、传感器数据等。数据量越大、来源越多，保持统一格式和一致质量就越困难。
多源数据很难统一结构。
不同系统可能使用不同字段名、格式、单位或编码。
大规模数据中小错误更难人工检查。
4.2 数据孤岛（Data Silos）
数据孤岛指数据被隔离存储在组织内部不同部门或系统中，彼此之间缺乏连接。
同一实体在不同系统中有不同版本。
数据冗余和重复。
组织很难获得统一的数据视图。
数据流动不顺畅，影响分析和决策。
4.3 数据不断变化（Evolving Data）
数据不是静止的。业务流程、市场环境、监管要求和用户行为都会随时间变化。
4.4 人为错误（Human Error）
数据录入、解释、复制、转换和管理过程中都可能出现人为错误。
拼写错误
小数点位置错误
字段填错位置
日期或单位录入错误
复制粘贴时遗漏字符
课堂中强调，人为错误无法完全避免，因此关键不是假设数据一定正确，而是要有方法识别、验证并修复错误。
4.5 缺乏完整的数据治理（Data Governance）
数据治理（Data Governance）提供数据质量管理所需的标准、角色、政策和流程。如果没有治理框架，组织很难系统性地管理数据质量。
字段命名不统一
缺乏数据录入标准
责任不清晰
缺少质量检查流程
错误难以追踪和预防
4.6 数据整合复杂性（Complexity of Data Integration）
当数据来自多个来源时，每个来源可能有自己的格式、结构和质量标准。合并时容易引入新的错误和不一致。
一个系统把地址拆成 street / city / state / zip，另一个系统把完整地址放在一个字段里。
一个系统用 M/F 表示性别，另一个系统用 0/1。
同一个人可能在不同系统中使用昵称、缩写或不同拼写。
4.7 工具不足与意识不足
课件指出，缺乏有效的数据质量工具会影响组织发现、修正和预防数据质量问题的能力。但课堂也强调，工具不能完全替代人的判断。
工具可以发现常见格式错误、重复值和缺失值。
但工具不一定理解项目背景、业务规则和客户需求。
某些错误需要结合领域知识和上下文判断。
因此，数据质量管理既需要工具，也需要经验、业务理解和团队讨论。
5. 数据异常（Data Anomalies）
数据异常（Data Anomalies）指数据中偏离预期模式的异常、 irregularity 或 deviation。异常可能表示错误、不一致，也可能表示真实但罕见的事件。
数据质量
分析准确性
决策可靠性
欺诈、系统问题或特殊事件识别
5.1 点异常（Point Anomalies）
最简单、最直观的一类异常。
常通过阈值、统计分析或范围检查发现。
可能表示录入错误、欺诈或特殊事件。
课件例子中，员工表里大多数 Work_Hour 是 4、6、8、9、10，但某一行 Work_Hour = 500。这个单个值明显超出合理范围，因此可以视为点异常。
如果只看一个值本身，就能明显发现它不合理，那么它很可能是点异常。
但也要注意，不能只找到一个明显错误就停止。实际作业或真实数据中可能有多个异常，需要系统检查。
5.2 上下文异常（Contextual Anomalies）
上下文异常也叫条件异常（Conditional Anomalies），指某个数据点在特定上下文下异常，但离开这个上下文可能并不异常。
课件中的能耗数据例子展示了 4 个 property 在 24 小时内的用电情况。单独看某些数值并不一定不合理，但其中一个 property 的整体时间模式与其他 property 明显不同：它可能在夜间用电较高，白天用电较低。
因此，上下文异常必须结合背景判断。异常不一定等于错误，它可能是特殊但真实的行为。
5.3 集合异常（Collective Anomalies）
集合异常指一组相关数据点整体上偏离正常模式。单个点看起来可能正常，但作为一个序列或组合来看就不正常。
课件使用信用卡交易作为例子。单笔金额如 $16.99、$21.99、$47.98 本身未必异常；但如果某一天同一商户短时间内出现多笔交易，或者消费频率、金额组合突然改变，就可能表示异常行为。
单个值不一定异常。
一组记录形成的行为模式异常。
通常需要分析时间序列、购买习惯或行为路径。
5.4 三类异常对比
6. 数据质量问题（Data Quality Issues）
数据质量问题指数据中会降低其有用性、可靠性和准确性的各种问题。这些问题可能发生在数据生命周期的多个阶段，包括收集、存储、处理和分析。
6.1 常见数据质量问题
不完整数据（Incomplete Data）
不准确数据（Inaccurate Data）
不一致数据（Inconsistent Data）
数据重复（Data Duplication）
国家名拼写或语言不统一，例如 Philippines、中文“菲律宾”、大小写混用。
国家或地区名称不一致，例如 Brazil、BRA、brasil 等。
日期不合理，例如开始日期晚于结束日期，或年份明显不符合现实背景。
同一个 ID 重复出现，但记录内容不同。
金额格式和单位不统一，例如 US$77 million、150m、20000000。
字段缺失，例如某些记录缺少 ISO、结束日期、投资额等。
拼写错误和语法不一致，例如国家名、行业名或产品名的拼写变体。
这个例子的重点不是逐行找错，而是训练我们从多个角度检查数据：缺失、错误、不一致、重复、格式和语义问题。
6.2 其他数据质量问题
数据标准化差（Poor Data Standardization）
数据及时性不足（Lack of Data Timeliness）
数据相关性问题（Data Relevance Issues）
数据安全和隐私问题（Poor Data Security and Privacy）
数据结构复杂（Complex Data Structures）
数据可访问性问题（Data Accessibility Issues）
这些问题提醒我们，数据质量不仅是“有没有缺失值”这么简单，还包括标准、时效、隐私、结构和访问权限等更广泛的问题。
7. 按数据来源分类的数据质量问题
课件根据 Rahm and Do 的数据清洗分类，将数据质量问题按数据来源分为：
模式层问题（Schema Level）
实例层问题（Instance Level）
7.1 单一来源问题（Single-Source Problems）
属性值非法：例如出生日期超出合理范围。
属性依赖被违反：例如年龄和出生日期不匹配。
唯一性违反：例如两个员工使用相同 SSN。
引用完整性违反：例如员工所属部门不存在。
缺失值
拼写错误
缩写或难以理解的编码
多个值被塞进一个字段
值填错字段
城市和邮编不对应
同一实体重复出现
同一实体的不同记录互相矛盾
7.2 多来源问题（Multi-Source Problems）
多来源问题通常出现在数据合并或集成过程中。不同系统对同一对象的表示方式可能不同，因此合并时会出现冲突。
课件中的 customer/client 合并例子展示了多来源数据整合的典型困难：
一个数据源用 CID，另一个用 Cno。
一个数据源用 Name，另一个拆成 LastName 和 FirstName。
一个数据源用 Sex = 0/1，另一个用 Gender = M/F。
一个数据源将地址拆成街道和城市，另一个把完整地址写在一个字段中。
合并后需要判断哪些记录表示同一个人，哪些只是同姓或相似地址。
因此，多来源清洗不仅是格式转换，还涉及实体匹配（Entity Matching）、冲突解决（Conflict Resolution）和语义理解。
8. 按数据类型分类的数据质量问题
8.1 句法异常（Syntactical Anomalies）
句法异常通常可以通过标准化、正则表达式、格式转换和规则检查处理。
8.2 语义异常（Semantic Anomalies）
年龄（AGE）和出生日期（DOB）不匹配。
同一个实体在不同记录中出现不同身份信息。
两条记录看起来不同，但实际表示同一个人。
语义异常通常比句法异常更难，因为它需要理解字段之间的关系和业务规则。
8.3 覆盖异常（Coverage Anomalies）
缺失值是某条记录中的某个字段缺失；缺失观测则是应该存在的整条记录没有被采集到。
9. 脏数据（Dirty Data）的三种表现
缺失数据（Missing Data）
非缺失但错误的数据（Not Missing but Wrong Data）
非缺失、非错误但无法使用的数据（Not Missing and Not Wrong but Unusable Data）
9.1 缺失数据
缺失数据是最容易观察到的一类问题，因为字段为空、NULL、NaN 或使用特殊符号表示缺失。
这个字段是否关键？
缺失比例有多高？
是否可以用其他字段补全？
是否需要删除记录或保留缺失标记？
9.2 非缺失但错误的数据
日期超出合理范围。
邮编和城市不匹配。
主键重复。
分类字段中出现不允许的类别。
9.3 非缺失、非错误但无法使用的数据
这是最难处理的一类。数据看起来有值，也不一定违反明显规则，但在当前任务中无法直接使用。
多个数据库中同一实体的数据不同。
缩写有歧义，例如 Dr. 可能表示 doctor，也可能表示 drive。
上下文不完整，例如 Sydney 可能指澳大利亚 Sydney，也可能指加拿大 Sydney。
地址缩写不同，例如 ste、rd、st。
别名或昵称，例如 Bill Clinton 和 President Clinton。
编码格式不同，例如 ASCII 或其他编码。
数值表示不同，例如负数、精度、分数形式。
度量单位不同，例如日期、时间、货币、重量、面积。
电话号码等拼接字段中使用不同特殊字符，例如空格、短横线、括号。
这类问题通常需要结合多个字段、外部规则或领域知识判断。课堂中强调，在作业或实际项目中，不要只看单个字段，要尝试用其他字段证明某个值是否有问题，并寻找修复依据。
10. 数据质量管理框架（Data Quality Management Frameworks）
数据质量管理框架是组织用于确保数据准确、完整、可靠，并适合特定用途的一套结构化方法。
数据质量维度（Data Quality Dimensions）
数据治理（Data Governance）
数据质量标准（Data Quality Standards）
数据质量评估（Data Quality Assessment）
数据质量改进（Data Quality Improvement）
数据质量监控（Data Quality Monitoring）
数据质量工具与技术（Data Quality Tools and Technologies）
合规与监管考虑（Compliance and Regulatory Consideration）
培训与意识（Training and Awareness）
课件强调，实施数据质量管理框架是一个迭代过程，需要组织内不同利益相关者参与。
清楚理解组织的数据质量需求。
建立适合组织自身情况的框架。
有强有力的数据治理。
保持清晰沟通。
合理使用技术工具。
持续改进，而不是一次性清理完就结束。
数据质量管理不是一次性的“清洗数据”，而是一套持续运行的组织能力。
11. 机器学习在数据质量中的作用
课件最后介绍了机器学习（Machine Learning, ML）在数据质量中的作用。机器学习可以帮助自动化和优化数据质量相关流程，尤其是在大规模数据场景下更有价值。
自动错误检测（Automated Error Detection）
数据清洗（Data Cleansing）
预测性数据质量管理（Predictive Data Quality）
数据匹配和合并（Enhanced Data Matching and Merging）
自然语言处理（Natural Language Processing, NLP）
数据治理和元数据管理（Data Governance and Metadata Management）
数据增强（Data Enrichment）
持续监控和改进（Continuous Monitoring and Improvement）
但课堂中也提醒，机器学习和工具不能完全替代人工判断。原因是：
因此，机器学习更适合作为辅助工具，而不是完全自动化替代数据分析人员。
12. 实践与作业中的检查思路
本周内容对数据清洗作业和后续分析非常直接。复习和做作业时，可以按下面顺序检查数据：
先检查明显问题：缺失值、重复值、非法值、极端异常值。
再检查格式问题：日期格式、大小写、单位、货币、缩写、拼写变体。
再检查字段之间的关系：年龄和出生日期、城市和邮编、开始时间和结束时间是否一致。
再检查多源整合问题：同一个实体是否在不同数据源中被不同方式表示。
最后结合业务背景判断：异常是否一定是错误，还是可能代表真实但特殊的行为。
找到异常之后，不要马上删除。先判断异常的原因，再决定是修复、保留、删除，还是记录为无法处理的问题。
课堂中也提到，真实项目中并不是所有错误都能修复。有些错误只能被发现、记录，并用于改进未来的数据收集流程。相比直接丢弃数据，通常应先评估是否可以修复，因为重新收集数据往往成本更高。
Summary
Week 7 的核心是数据质量与数据异常。高质量数据应当准确、完整、一致、及时、相关并可靠；低质量数据会影响决策、效率、成本、声誉、合规和预测结果。
数据质量评估：区分维度和度量，用准确性、完整性、一致性、及时性、相关性和可靠性检查数据。
数据异常识别：理解点异常、上下文异常和集合异常，并记住异常不一定等于错误，需要结合背景判断。
脏数据分类：区分缺失数据、非缺失但错误的数据，以及非缺失非错误但无法使用的数据。
整体上，本周内容为后续数据清洗打基础。真正的数据清洗不是简单删除缺失值或异常值，而是理解数据、发现问题、判断原因，并根据任务目标选择合适的修复策略。