ChatGPT 说
本页目录· 178 条
- 1. 本周 Lab / Applied 总览
- 这周实验的主题是什么
- 这周总共要完成哪些任务
- Part A：认识 DataFrame
- Part B：探索一个现成数据集（UFO）
- Task 1：加载 xmart 数据并做基本信息分析
- Part C：编辑 DataFrame
- Task 2：自己复现整个数据整理流程（Air Crashes）
- 每个任务分别在练什么能力 / 知识点
- 1）DataFrame 基础
- 2）数据探索
- 3）数据清洗
- 4）列合并与删列
- 5）Task 2 复现
- 整个实验的主线是什么
- 2. 本周要完成的任务清单
- A. 环境与导入
- 需要做的操作
- 在练什么
- 必须理解吗
- B. DataFrame 基础演示
- Notebook 里包含的操作
- 这里要注意
- 在练什么
- C. 探索 UFO 数据集
- 需要做的操作
- 其中 notebook 明确要求你思考的问题
- 在练什么
- D. Task 1：xmart 数据
- 需要做的操作
- notebook 给出的代码
- notebook 明确要求你回答的问题
- E. 缺失值处理
- 需要做的操作
- 在练什么
- 重要提醒
- F. 创建新列、合并列、测速、删列
- 需要做的操作
- 在练什么
- 必须真正理解的地方
- G. Task 2：Air Crashes
- notebook 给出的代码
- notebook 明确要求你完成的内容
- 3. Step-by-step 操作指导
- Step 0：先确认你在哪个环境运行
- 这一步要做什么
- 为什么要先确认
- 影响
- 你做完后预期会看到什么
- 常见错误
- 错误 1：No module named google.colab
- 错误 2：找不到 /content/drive/...
- Step 1：导入库
- 做什么
- 预期结果
- 常见错误
- ModuleNotFoundError: No module named 'pandas'
- 原理
- 这一步在练什么
- 这一步是照着做还是必须理解
- Step 2：看懂 DataFrame 是什么
- 做什么
- 预期结果
- 为什么这里要这样安排
- 最简单的话解释
- 这一步必须真正理解什么
- Step 3：理解索引、列、取值
- 做什么
- 预期结果
- 原理
- 容易误解的点
- Step 4：创建更真实一点的 DataFrame
- 做什么
- 预期结果
- 原理
- 这一步真正想让你理解什么
- Step 5：读入 UFO 数据并做探索
- 做什么
- 预期结果
- 1）ufo.shape
- 2）ufo.columns
- 3）ufo.dtypes
- 原理
- 老师可能会问你什么
- Step 6：回答 loc 和 iloc 的区别
- 你可以这样记
- 最简单的类比
- 再准确一点
- 必须理解
- Step 7：Task 1 - 挂载 Google Drive 并读取 xmart
- 做什么
- 页面上哪里要点
- 预期结果
- 常见错误
- 1）授权后还是看不到共享盘
- 2）FileNotFoundError
- 3）本地 Jupyter 无法运行 drive.mount
- Step 8：Task 1 - 用代码回答 4 个问题
- 你要写出的答案框架
- 为什么这里要这样做
- 我现在能不能直接告诉你 xmart 的最终答案
- Step 9：处理缺失值
- 做什么
- 预期结果
- 这一步在练什么
- 为什么重要
- Step 10：删除缺失值行
- 做什么
- 预期结果
- 原理
- 风险
- 这一步真正要理解什么
- Step 11：填补缺失值
- 做什么
- 原理
- 初学者最容易误解的地方
- Step 12：创建新列并合并信息
- 做什么
- 预期结果
- 原理
- 最简单的话
- 文字结构图
- Step 13：用 for 循环做同样的事
- 做什么
- 目的
- notebook 想告诉你的核心点
- 为什么
- Step 14：测速比较
- 做什么
- notebook 保存结果显示
- 必须真正理解
- Step 15：删除多余列
- 做什么
- 原理
- 这一步在练什么
- Step 16：Task 2 - 对 Air Crashes 独立复现流程
- 先读数据
- notebook 保存输出显示，这个数据至少包含这些列
- Step 17：Task 2 推荐完成顺序
- 17.1 先做数据总览
- 17.2 检查缺失值
- 17.3 决定如何处理缺失值
- 17.4 找可合并列
- 17.5 删除冗余列
- 17.6 找出有生还者的记录
- 4. 每一步背后的原因 / 原理解释
- DataFrame 到底是什么
- 一句话定义
- 简单类比
- 文字结构图
- 为什么先 shape / columns / dtypes / head
- 为什么要处理缺失值
- 为什么能合并列
- 为什么向量化比 for 循环好
- 一句话定义
- 简单类比
- 这周必须真正理解
- 5. 容易出错的地方
- 1）把 DataFrame 写错大小写
- 2）loc 和 iloc 混淆
- 3）以为 fillna() 一运行原数据就变了
- 4）在新版本 Pandas 里看到 FutureWarning
- 5）Google Drive 路径问题
- 6）把“删缺失值”当成万能解法
- 6. 本周必须学会的知识点
- 只需要先会用的
- 1）导入库
- 2）常用查看函数
- 3）简单读文件
- 必须真正理解的
- 1）DataFrame 是什么
- 2）loc 和 iloc
- 3）缺失值不只是“看见空就删”
- 4）整列操作比逐行循环更符合 Pandas 思维
- 5）为什么合并列、为什么删冗余列
- 7. 老师可能会问的问题
- 8. 完成后自测题
- 9. 用更简单的话再解释一遍本周内容
1. 本周 Lab / Applied 总览
这周实验的主题是什么
这周主题是：
Introduction to Data Wrangling with Pandas
也就是：用 Pandas 做数据整理 / 数据清洗的入门练习。
这里的 “Data Wrangling” 你可以先用最简单的话理解成：
把原始数据整理成可以分析、可以继续处理的数据。
比如：
- 读入数据
- 看表有多少行多少列
- 看每一列是什么类型
- 找缺失值
- 补缺失值 / 删除缺失值
- 把两个列拼成一个新列
- 删除多余列
- 筛选出你想要的子集
这周总共要完成哪些任务
这份 notebook 可以分成 5 个部分：
Part A：认识 DataFrame
你会先学：
- DataFrame 怎么创建
- DataFrame 长什么样
- 行、列、索引是什么
- Pandas 大小写为什么重要