Seminar Week 2 Summary
本页目录· 69 条
- Learning Outcomes
- 本周在课程中的位置
- 数据整理(Data Wrangling)是什么
- 数据整理的目标与挑战
- 数据整理的目标
- 数据整理的主要挑战
- 数据整理流程总览
- 数据发现(Data Discovery)
- 这个环节在做什么
- 为什么重要
- 课堂案例:病人再入院预测
- 案例里可能需要的数据来源
- 课件图示真正想表达什么
- 课堂补充
- 数据发现阶段常见的现实问题
- 数据收集(Data Collection)
- 这个环节在做什么
- 不是“拿到数据”就结束
- 这一部分最重要的点
- 课堂上的实务提醒
- 数据预处理(Data Pre-processing)
- 这一阶段的核心作用
- 选择(Selection)
- 子集选择(Subsetting)vs 抽样(Sampling)
- 子集选择(Subsetting)
- 课件示例:AirCrashes 数据按时间筛选
- 课堂补充:什么字段往往可以先不保留
- 抽样(Sampling)
- 课件示例:Facebook 用户行为抽样
- 课堂补充:抽样方式要由项目目的决定
- 格式化(Formatting)
- 常见需要统一的内容
- 特别容易忽略的坑
- 可以这样理解
- 数据清洗(Data Cleaning)
- 这个环节在做什么
- 数据异常(Data Anomalies)
- 常见异常类型
- 图示要点
- 课堂补充
- 数据转换(Data Transformation)
- 这个环节在做什么
- 数值数据(Numeric Data)
- 常见方法
- 归一化 vs 标准化
- 离散化 vs 分箱
- 图示要点
- 文本数据(Text Data)
- 文本处理的三步
- 课件图示真正想表达的路线
- 图像数据(Image Data)
- 常见转换方式
- 图示要点
- 数据增强(Data Enrichment)
- 这个环节在做什么
- 常见增强方式
- 这一部分最容易和“转换”混淆
- 数据验证(Data Validation)
- 这个环节在做什么
- 课件给出的验证清单
- 一个很容易混淆的点
- 这一步真正的价值
- 数据存储与结构设计(Data Storing / Data Structuring)
- 这个环节在做什么
- 课件中的重点
- 这里有一个容易混淆的点
- 课堂上的实务提醒
- 本周最容易混淆的概念
- Summary
ChatGPT 说
Learning Outcomes
- 理解数据整理(Data Wrangling)在完整数据分析项目中的位置:它连接问题识别、数据获取与后续分析。
- 能按任务链条说明本周流程:数据发现 → 数据收集 → 数据预处理 → 数据清洗 → 数据转换 → 数据增强 → 数据验证 → 数据存储。
- 能区分几个容易混淆的概念:
- 数据发现(Data Discovery)vs 数据收集(Data Collection)
- 数据预处理(Data Pre-processing)vs 数据清洗(Data Cleaning)
- 数据转换(Data Transformation)vs 数据增强(Data Enrichment)
- 归一化(Normalisation)vs 标准化(Standardization)
- 能结合数值、文本、图像三类数据,说明常见转换方法及其作用。
- 知道真实项目中除了“处理数据”本身,还必须考虑伦理、隐私安全、效率、文档化与备份。
本周在课程中的位置
- 上周课程从项目层面回顾了完整的数据分析流程:问题识别(Problem Identification)→ 数据收集 → 数据清洗 → 数据分析 → 结果解释。
- 本周开始把中间最关键、也最耗时的一段拆开讲:如何把原始数据(raw data)整理成可分析、可复现、可交付的数据。
- 可以这样理解:
- 上周是在看“整个项目怎么走”;
- 本周是在看“项目里最容易出问题、最决定结果质量的那一段怎么做”。