1. 本周 Seminar 总览

这周的主线非常清楚：拿到数据之后，不是立刻建模，也不是立刻写结论，而是先做 EDA（Exploratory Data Analysis，探索性数据分析）。老师把 EDA 讲成了一个“所有数据项目的起点”：你先看数据有什么模式、有没有异常、变量之间有没有关系、数据适不适合后续分析，然后再决定下一步怎么做。

本周内容分成两条线：一条是 数值型数据的 EDA，包括均值、中位数、众数、范围、IQR、方差、标准差，以及 histogram、boxplot、scatter plot、heatmap 这些图怎么帮助你理解数据；另一条是 文本数据的 EDA 与预处理，包括 syntax、semantics、tokenization、encoding、count vectorizer、case normalisation、stop words、stemming、lemmatization。

更重要的是，老师反复把这周内容和 Assessment 1 绑在一起讲。老师的意思很明显：这周不是“理论看看就行”，而是你做 A1 前必须真正会用的东西，尤其是 EDA、可视化选择、文本列处理、tokenization、case normalisation、stop words，以及不要乱用 word cloud。

2. 核心知识点总结

2.1 EDA 是什么、为什么重要、怎么理解

EDA 不是“把数据画几张图”这么简单。老师和课件都在强调，EDA 的目标是：理解数据的主要特征，包括模式、异常、关系、结构、假设是否成立，以及后面适合做什么模型或分析。你可以把它理解成：正式分析前，先给数据做一次体检。如果连数据长什么样都不知道，后面无论清洗、建模、解释结果，都会很容易走偏。

老师还特别强调了一点：如果你做项目时不知道从哪里开始，就先做 EDA。这句话其实很重要，因为它不是只针对这一周，而是在教你一种之后做数据项目的默认起手式。对 A1 来说也是一样，EDA 的输出不只是“图”，还包括你从数据里发现的 findings / insights / 后续要做的问题。

2.2 为什么一定要先分清数据类型

这周一个很核心的底层逻辑是：数据类型决定你后面几乎所有选择。课件把常见数据分成 numerical、categorical、character、text、image；老师则进一步强调，不同数据类型会影响 统计方法、可视化方式、清洗方法、预处理方法、特征工程、模型选择、数据完整性判断。

换句话说，你不能把所有数据都当成“数字表格”来处理。比如 numeric data 可以直接算 mean、median、standard deviation；categorical data 更适合看频率、众数；text data 往往要先 tokenization、normalisation、encoding 之后才能进一步分析。老师甚至拿缺失值举例说明：年龄缺失和文本缺失不是一个难度级别的问题，文本一旦缺失，可能关键信息就直接没了。

2.3 数值型数据的 EDA

数值型数据这一部分，表面上是在讲统计指标，实际上老师在讲的是：你怎么通过这些指标去理解“数据分布长什么样”。mean、median、mode 都属于 central tendency，但老师专门用课堂问答强调：没有哪个指标是永远“最好”的，答案取决于数据本身。如果数据比较平衡、接近 bell shape，三者差别不会太大；如果分布偏斜，mean 很容易被尾部拖走，这时 median 可能更稳。也就是说，不能死记“平均数最好”，而要结合分布去判断。

除了中心位置，还要看分散程度。这里包括 range、IQR、variance、standard deviation。课件给的是定义，老师口头补充的是用途：IQR 能帮你更细地理解中间 50% 数据的范围；variance / standard deviation 不只是“会算”，更重要是帮助你看数据 spread 得多不多、离中心远不远，甚至帮助你理解像 K-means 这种基于距离的思路。老师还提到 3 standard deviation rule，在接近正态分布时，可以把离中心太远的数据当成异常候选。

可视化方面，这周的重点不是“背图名”，而是 图要跟数据类型和分析目的匹配。numeric data 常见 histogram、scatter plot、line chart；categorical data 常见 bar chart、pie chart；heatmap 适合看相关关系或值强弱分布。老师最强调的是两件事：第一，别把不合适的图硬套上去；第二，不要把所有图都塞进报告里，只保留最能支持你结论的图。

其中要特别记住的是 outlier 检测。boxplot 可以给你 potential outliers，scatter plot 也能让你看到“离群”的点，但老师明确说：它们给你的只是 candidate，不是最后判定。真正判断一个 data point 是不是 outlier，不能只看一个属性，也不能只用一个方法，要结合多个属性、多个角度、再自己做判断。老师甚至直接说了：每学期能把 outlier 这题做对的组都不多。这个信号非常强。

高维数据则是这周数值部分的难点。老师提醒你们 A1 的数据集有很多列，不能指望“一张图看完全部”。这里就需要考虑 PCA、correlation、feature selection 等思路：不是为了炫技，而是为了把高维数据压到更可理解的形式。但老师也提醒了一个代价：降维会丢信息，所以你是在“可解释性”和“信息保留”之间做取舍。

2.4 文本数据的 EDA

文本数据这部分，课件从 NLP 的角度切入，讲了两个层面：syntax 和 semantics。syntax 是语言结构，比如句子是怎么由词组成的；semantics 是词和句子在上下文里的意义。老师还补充了 topical collocation，也就是有些词组合在一起之后才有固定意义，比如 “white house” 在不同语境下意义不同。

这一部分真正想教你的，不是让你做很深的语言学，而是让你明白：文本不是天然能直接分析的。机器看文本，首先看到的是字符和顺序，不会像人一样自动懂意思，所以你必须先把文本变成一种更结构化、更可计算的形式。老师还明确说了，像短语搭配这种更难的部分，以前会难倒很多学生，所以现在已经从 assessment 中拿掉了。也就是说，你现在要掌握的是 基础文本处理链条，不是做高级语义推理。

2.5 文本预处理

文本预处理是这周很实用的一块。第一类是 encoding。one-hot encoding 适合类别少、没有顺序关系的 categorical data；label encoding 适合有顺序的类别，比如 small / medium / large。老师口头补充得更实在：one-hot 很直观，但如果类别太多，会产生很多列，而且大部分都是 0；label encoding 则更适合真的有大小顺序的场景。

第二类是 vectorization。课件用 count vectorizer 讲了基本逻辑：先 tokenization，再建 vocabulary，再把每篇文本表示成一个词频向量。老师在 transcript 里继续往下讲：一旦文本变成向量，就可以讨论“两个句子相不相似”，也就是向量相似度的问题。你这周不一定要深挖公式，但要知道核心思想：文本要先数值化，后面才能比较、聚类、分类。

第三类是 tokenization 和清洗。tokenization 是文本处理第一步，最常见的是 word tokenization，但也有 sentence、subword、character 等。之后常见的清洗步骤包括 case normalisation、removing stop words、stemming、lemmatization。老师这里给的节奏很像 A1 实操提示：如果你们的文本列要处理，基本上就是沿着这条流水线走。

3. 老师强调的重点

• Assessment 1 现在就要开始。 老师开头讲一次，结尾又讲一次，还说今天的 EDA 内容和 A1 直接相关，组队必须满足 4 到 5 人。为什么我判断它非常重要：因为这是最直接的 assessment 信号，而且老师用了明显的催促语气。
• Regex 基础符号要记住，quiz 会用到。 老师说 quiz 不会特别难，但会考 very basic symbols；同时又提醒 harder regex 更多会出现在 assessment。为什么重要：这是老师直接把“上周内容”延续到 quiz 和 assignment 的地方。
• EDA 是做任何数据项目的起点。 老师明确说，如果你不知道项目从哪开始，就从 EDA 开始。为什么重要：这不是单周知识点，而是之后很多作业和课程都会默认你已经会这样做。
• 不要在 Assessment 1 里用 word cloud。 老师说得很重：word cloud 不是有用的 EDA，可当营销展示，但不能帮助分析；A1 里用了会丢分。为什么重要：这是很少见的“直接告诉你什么不要做”的评分提示。
• Outlier 不能只靠一个图、一种方法来判。 老师专门说了 boxplot 只能给 candidate，scatter 也只是辅助，真正判断要结合多个属性和多种方法。为什么重要：这明显是 A1 里最容易失分、但又最容易被学生想简单了的地方。
• Tokenization、case normalisation、stop words 是文本处理主线。 老师不只讲定义，还说 assessment 里会涉及 case normalisation，stop word list 也已经给了。为什么重要：这说明这部分不只是“听过就算”，而是你做文本列时真的会用到。
• Applied session 非常重要。 老师明确说这周 applied 对 A1 很关键；你要带着自己的代码、想法、结果去，tutor 才能给你“这方向对不对”的反馈。为什么重要：这等于告诉你 seminar 只给框架，真正落地要靠 applied。

4. transcript 里补充的重要信息

• 课件只列了 mean / median / mode 的定义，但老师真正补充的是：没有哪个永远最好，关键要看数据分布；偏斜时 mean 可能不可靠，所以最好把统计量和可视化一起看。
• 课件讲了 outlier 图形，但老师补充得更严格：boxplot 和 scatter plot 只能给你候选异常值，不是最终结论。这一点如果只看课件，很容易忽略。
• 老师补充了一个很实用的判断：简单的数值型小数据集，不要上来就想 deep learning / CNN / neural network，先选适合数据结构的基础模型；同时不要把 clustering、classification、regression 概念混在一起。
• 关于缺失值，老师补充得比课件更贴近实战：连续数值缺失、类别缺失、文本缺失，处理难度完全不同；尤其文本一旦缺，可能大量信息直接消失，这会影响你是否还应该继续用这个数据。
• 关于报告写法，老师补充了非常明确的标准：不要把所有图都塞进去，图必须支持你的结论，报告要可读，别变成 100 页图册。这部分课件里几乎没有这么具体。
• 关于文本处理，老师口头给出了更直接的 assessment 提示：tokenization 是第一步；case normalisation 在 assessment 里会涉及；stop word 文件已经给了；这周 applied 要真正练起来。
• 老师还补充说，topical collocation 那种更难的短语语义判断，已经从 assessment 里移掉。这对你很有用，因为它告诉你：这一块知道概念就够，不必把主要精力砸在最难的 NLP 语义问题上。
• 还有一条偏操作性的提醒：break 期间会开放 practical quiz 来测试 safe exam browser，week 6 有 online quiz。这不属于知识点本身，但属于你学期安排里不能漏掉的信息。

5. 这周最可能要掌握的考点 / 作业相关点

结合老师的语气、反复程度、以及他把哪些内容直接和 quiz / assessment / applied 绑在一起讲，我的判断是：

• 高概率 quiz 点：regex 基础符号、mean / median / mode 的区别、range / IQR / standard deviation 的基本含义、不同数据类型对应的基本可视化方式。老师对 quiz 的直接提醒主要落在 regex basics，同时这周课堂问答也明显围绕 central tendency 和 visualization choice。
• 高概率 A1 点：从 EDA 开始理解数据，识别 pattern / anomaly / relationship，选择合适图表，而不是乱堆图；图和结论要一致。这个几乎是这周最核心的 assessment 信息。
• 高概率文本处理点：tokenization、case normalisation、stop words、stemming、lemmatization、one-hot / label encoding、count vectorizer。这些内容在课件和老师口头里都出现了，而且老师还明确说 applied 很重要、assessment 会用到。
• 高概率易失分点：outlier 判断。你很可能要会解释“为什么某点只是 candidate，不是 final answer”，以及为什么不能只靠一个 boxplot。
• 隐含重点：数据类型决定清洗、特征工程、模型选择。老师虽然没有把它说成“考试一定考”，但整堂课一直在围绕这个逻辑展开，这通常就是后续作业和考试默认你要会的底层框架。
• 低优先级内容：image processing 的例子、topical collocation 更深层语义问题。知道它们是什么就行，但我不建议你把大量时间花在这里，因为老师已经明确弱化了这两部分在本单元 assessment 中的权重。

6. 我应该怎么学这周内容

推荐学习顺序

先回顾上周的 regex basics，再进入这周的主线：先搞懂 EDA 的目标，再分清 data type，然后学 numerical EDA 的统计量和图，再学 text EDA，最后把 text preprocessing 串成一条完整流程。学完之后，立刻回到 A1 数据集上想：我该画哪些图、处理哪些文本列、哪些地方可能有 outlier、哪些地方不能乱下结论。

你必须先搞懂的基础概念

第一，EDA 到底是干嘛的；第二，为什么要先分数据类型；第三，什么叫 distribution；第四，文本为什么必须先 tokenization 才能处理。这四个如果没立起来，后面的 mean / boxplot / stop words 都会变成零散知识点。

哪些属于理解型

mean 为什么会被偏态分布拖偏；median 为什么更稳；boxplot 为什么只能给 candidate outlier；为什么不同数据类型要用不同图；为什么 tokenization 是文本处理第一步。这些不是背定义能解决的，必须真正理解。

哪些属于记忆型

mean / median / mode、range、IQR、variance、standard deviation 的定义；histogram / boxplot / scatter / heatmap 的基本用途；one-hot vs label encoding；tokenization 的几种类型；stop words、stemming、lemmatization 的概念。

哪些属于应用型

看到一个数据集，能判断数据类型；能选合理图；能解释图看出了什么；能把一列文本走完 tokenization → normalisation → stop words → stemming/lemmatization；能说明某个点为什么只是异常候选；能说出一个简单 numeric dataset 不该硬上 fancy model。

哪些只需要了解

image data 的存在和基本特点、topical collocation 的概念、文本相似度可以用向量角度去理解、heatmap 的颜色设计细节。这些知道有这么回事就够了。

哪些要重点掌握

EDA 的目的；数据类型和后续处理的关系；数值数据的统计量 + 图怎么一起用；word cloud 为什么不能当有效 EDA；文本预处理主线；outlier 只能谨慎判断。这个组合最像本周真正的核心。

最容易混淆的地方

mean / median / mode；continuous / discrete / categorical；one-hot / label encoding；stemming / lemmatization；K-means / KNN；regression / classification；candidate outlier / confirmed outlier。你复习时要专门拿这些成对比较。

学完后你应该能回答这些问题，才算真的掌握

1. 为什么做项目时应该先做 EDA？
2. 为什么 mean 不一定比 median 更好？
3. boxplot 能不能直接证明某条记录就是 outlier？
4. 为什么 word cloud 不能作为有效 EDA？
5. 文本为什么必须先 tokenization？
6. one-hot 和 label encoding 分别适合什么场景？
7. stop words 和 stemming / lemmatization 分别在解决什么问题？
8. 高维数据为什么难可视化，你可以怎么处理？

7. 给我一份简短复习清单

• 我知道 EDA 的目标不是“画图”，而是理解数据的模式、异常、关系和后续分析方向。
• 我能区分 numerical、categorical、character、text，并知道不同类型会影响分析和预处理。
• 我能解释 mean、median、mode 的区别，并知道“哪个更好”要看分布。
• 我知道 range、IQR、variance、standard deviation 分别在看什么。
• 我知道 histogram、boxplot、scatter plot、heatmap 分别适合看什么。
• 我记住了：boxplot 只能给 outlier candidate，不能直接定案。
• 我记住了：Assessment 1 不要用 word cloud。
• 我能说出文本预处理的基本流程：tokenization → case normalisation → stop words → stemming / lemmatization。
• 我知道 one-hot、label encoding、count vectorizer 各自是干嘛的。
• 我知道这周内容和 A1 直接相关，而且 applied session 很关键。

8. 如果我是初学者，你再用更简单的话解释一遍

你可以把这周内容理解成一句话：拿到数据之后，先别急着“做结果”，先看看这批数据到底是什么、长什么样、有没有问题。 这一步就叫 EDA。它像你做饭前先检查食材：够不够、新不新鲜、哪些能直接用、哪些得先处理。

如果数据是数字，那你要先看“中间大概在哪”“分得开不开”“有没有特别离谱的值”，所以会学 mean、median、mode、IQR、standard deviation 和几种图。图不是为了好看，是为了帮你更快发现问题。老师最想让你记住的是：别乱下结论，尤其 outlier 不能只看一张图。

如果数据是文字，那机器是看不懂的，所以你要先把它“拆开、洗干净、变成数字”。拆开就是 tokenization，洗干净就是 lowercase、去 stop words、做 stemming / lemmatization，变成数字就是 encoding 或 vectorization。老师这周其实是在教你：文本处理不是靠感觉读，而是靠一套固定步骤把它变成可分析的形式。

最后，站在作业角度看，这周最关键的不是你背了多少定义，而是你能不能做到这三件事：先从 EDA 开始、按数据类型选方法、让图和结论真的对应上。 这就是老师整堂课一直在反复提醒你的核心。