跳到正文Seminar Week 1 Summary · Jimmy Huang's Blog课程运行方式与考核概览
上课结构
沟通与支持
考核结构
补充记忆点：Week 1 没有 in-class participation
小测必须线下完成，且不能协作、不能使用 AI
小组作业没有普通 short extension，通常只看 Special Consideration
Assessment 2 的展示在 Week 15，而且是 hurdle，要认真看待
本周先记住的课程规则
这门课默认你已经会 Python 基础
这门课允许把 AI 当辅助工具，但不能把作业整个外包给 AI
什么是数据整理（Data Wrangling）
核心定义
它在数据分析流程中的位置
问题识别（Problem Identification）
数据收集（Data Collection）
数据清洗（Data Cleaning）
数据分析（Data Analysis）
结果解释（Result Interpretation）
数据整理主要落在数据收集 + 数据清洗这一段
但它并不是和前后环节完全分开的孤立步骤
这部分为什么重要
它是数据分析的准备步骤
它决定后面分析能不能做、做得准不准
可以这样理解
为什么需要做数据整理
原始数据通常不是“拿来就能分析”的
这部分想表达的是：原始数据不一定整齐
不一定有清晰列名
不一定结构统一
甚至不一定是表格
它真正解决什么问题
老师举例背后的意思
数据整理的目标
图示真正表达的逻辑
Raw data → Data Wrangling → Tidy data → Analysis → Knowledge
这说明：数据整理的直接产物不是最终结论
而是整洁数据（tidy data）
然后才是分析，再从分析中产生知识或数据产品
数据整理面临的主要挑战
挑战总览
数据本身的性质
数据来源的复杂性
数据分析项目自身的目标
这三类会叠加在一起，让数据整理变成一个又技术、又业务、又非常耗时的过程。
1. 数据量大，且还在持续增长
课件里的折线图和“60 秒内互联网会产生多少数据”的图示，表达的是同一件事：
2. 数据质量问题很多
缺失值（missing values）
异常值（outliers）
手工录入错误
测量设备故障
不同系统格式不同导致的不一致
看到“奇怪的数据”时，不是机械地全部删除
更重要的是判断：这个问题会不会影响当前项目目标
这个异常到底是噪声，还是你真正想研究的对象
3. 数据来源非常多样
JSON
XML
CSV
Excel
PDF
PNG / JPEG 等图片格式
这说明真实世界的数据工作不是面对“一个标准文件”，而是经常要面对：
4. 数据结构本身可能很复杂
这部分的重点是：不是所有数据都能直接放进 DataFrame
很多时候，前面的难点是“先把结构找出来”
5. 缺乏标准化，也不一定容易解释
不同来源的数据可能：同一个字段叫不同名字
同一种信息用不同单位表示
同一类类别用不同编码方式表示
所以实际问题常常不是“读不到文件”
6. 非常耗时
数据科学里最花时间的部分，往往不是算法本身
而是前面的找数据、清数据、整理数据
7. 对技能与工具的要求高
课件把它画成一个能力网络，说明数据整理并不是单一技能，而是很多能力交叉：
数据整理看起来像“准备工作”
但它其实很能暴露一个人综合能力够不够
8. 数据隐私与安全不能忽视
只要处理的是现实世界数据，就不能只想“怎么分析”
还要想：有没有敏感信息
是否能共享
有没有权限限制
存储与处理是否安全
数据整理（Data Wrangling）的主要任务
任务链条总览
数据发现（Data Discovery）
数据采集（Data Collection）
数据预处理（Data Pre-processing）
数据清洗（Data Cleaning）
数据转换（Data Transformation）
数据丰富化（Data Enrichment）
数据存储（Data Storing）
数据验证（Data Validation）
每个任务可以简单这样理解
数据发现（Data Discovery）
先判断“有哪些数据存在”
再判断“哪些数据和当前问题有关”
数据采集（Data Collection）
把需要的数据真正拿到手
重点不只是获取一次，而是能否持续、规范地获取
数据预处理（Data Pre-processing）
做最初步的整理，让数据能继续往下走
常见思路包括初步解析、基础格式调整、字段拆分等
数据清洗（Data Cleaning）
处理错误、缺失、重复、不一致、异常等问题
这是后面几周的重要主线
数据转换（Data Transformation）
把数据变成更适合分析的表示方式
例如类型转换、结构调整、编码转换等
数据丰富化（Data Enrichment）
数据存储（Data Storing）
把处理后的结果保存成合适格式
这关系到后面自己或别人能不能继续使用
数据验证（Data Validation）
整理完以后还要检查：结果是不是合理
格式是不是符合要求
是否真的能用于后续分析
一个特别重要的理解：它不是线性流程
老师在 transcript 里特别强调：数据整理不是做完 1、2、3、4 就永远结束
做到后面很可能会发现前面某一步要重来
编程语言与环境（Programming Language & Environment）
课程默认技术栈
课程默认使用 Python（Python） 生态，常见库包括：
常用环境
这部分最实用的理解
本周老师特别强调的现实建议
关于 Python
不要等到作业出了才想起来补 Python
现在就应该把下面这些能力捡回来：基础语法
文件读写
常见第三方库导入
DataFrame 基础操作
文本处理基础
关于 AI
AI 可以帮助你拆思路、解释概念、生成样例代码
但不能无脑照抄，更不能把作业整个交给它
因为最后你还要能：解释自己的逻辑
说明为什么这样处理数据
回答展示或问答中的问题
本周最值得记住的几句话
数据整理不是附属工作，而是数据分析能不能成立的基础
数据整理的本质，是把原始数据变成可分析数据
原始数据往往又脏、又乱、又杂、又不统一
数据科学工作里，真正最花时间的常常不是建模，而是数据准备
这门课默认你已经会 Python 基础，重点是用 Python 去解决数据问题
数据整理不是线性步骤，而是会不断回头修正的迭代过程
本周 To-do List
下载并阅读 Moodle 上提供的课程材料
确认 seminar / applied session 的时间、地点和分班信息
确认自己能正常进入 Ed Forum
确认是否能访问课程共享资料 / shared drive
重新捡回 Python 基础，不要等到作业开始才补
认真看清考核节奏，尤其注意：Quiz 是线下个人完成
A1 / A2 是小组作业
A2 在 Week 15 还有线下展示
从现在开始就把这门课当成“需要稳定投入的技术课”，不要把它当成只靠临时抱佛脚就能轻松过的课
Summary
Week 1 的核心不是某个具体清洗技巧，而是先建立整门课的总地图：数据整理是什么、为什么重要、它通常难在哪里、后面一整个学期会怎么一步步展开。如果把数据分析看成“从原始数据走到有效结论”的过程，那么数据整理就是中间最费时、最基础、也最决定成败的一段。本周的任务，就是先把这张全景图建立起来，并把 Python 环境、课程规则和学习节奏准备好，为后面真正进入数据发现、清洗、转换、丰富化和验证做铺垫。