跳到正文 Chatgpt 说 · Jimmy Huang's Blog
← FIT5196 Seminar Week 5 学习 › C6001 › 2026 S1 › FIT5196 Data wrangling › Week 5 Data Discovery & Collection › FIT5196 Seminar Week 5 Chatgpt 说 Chatgpt 说 本页目录· 31 条 1. 本周 Seminar 总览 这周的核心主题是 Data Discovery（数据发现） 和 Data Collection（数据采集） 。放在整门课里看，它们属于 data wrangling 前期非常关键的一段：你还没开始真正做清洗、转换、建模之前，先要搞清楚“我有什么数据”“这些数据能不能用”“不够的话该怎么采”。课件第2页把它放在 data pre-processing 的前半段，第6页和第26页分别定义了 discovery 和 collection。
老师的口头解释比课件更落地：她一直在强调， 数据不是为了“分析而分析” ，而是为了支持决策、支持研究、支持后续行动。也就是说， 真正重要的不是把图画出来 ，而是你 能不能从数据里提出 有意义、能落地的 insight（洞察） ，并且说清楚为什么这个 insight 重要。她还把这点直接连到 Assessment 1：你最后不只是要有 findings，还要能区分 findings、insights、以及 machine learning questions。
另外，这周还有很强的“实操导向”：老师花了不少时间提醒 Assessment 1、Week 6 quiz、EDA、报告写作、视频展示、伦理与隐私 。所以这周不是“纯概念周”，而是“概念 + 作业落地 + 考核提醒”三合一的一周。
2. 核心知识点总结 知识点 1：数据为什么重要 这部分在讲什么
课件第4-5页讲的是：数据在现代商业和研究里，不只是“记录”，而是帮助做决策的证据。它可以支持 evidence-based decision-making、战略规划、风险管理、客户洞察、个性化服务、创新、合规、危机应对，以及研究中的定量/定性分析、假设检验和理论发展。老师口头不断补充：公司找你做分析，不是为了好看，而是为了更懂客户、产品、市场，最后帮助业务做决定。
为什么重要
因为这决定了你看数据的方式。你不是“看到什么说什么”，而是要想：
这个结果能不能解释业务问题？能不能帮助下一步行动？能不能减少风险？
和本课程整体有什么关系
FIT5196 不是单纯教你清洗表格，而是教你把原始数据变成可以支撑分析和决策的材料。Week 5 其实是在告诉你：后面所有 cleaning、transformation、EDA，最终都要回到“支持问题解决”这件事。
怎么理解（学生版）
你可以把数据想成“做决定时拿出来的证据”。老板不会因为你说“我觉得”就相信你，但会因为你能给出图、表、趋势和理由而相信你。
知识点 2：什么是 Data Discovery 这部分在讲什么
课件第6页定义得很清楚：Data discovery 是 识别并理解可用于分析的数据源 。老师口头又加了一层：它不只是“知道数据在哪”，还要判断这些数据能不能产出
本页目录 actionable insights
，也就是“有意义、还能真正做点什么”的洞察。
因为很多项目失败，不是分析不会做，而是一开始选错数据、误解数据，或者拿到的数据根本不适合回答问题。
这一周是后面 EDA、清洗、转换的入口。你连数据是否合适都没判断，后面的工作可能都是白做。
Data discovery 就像你准备做饭前，先打开冰箱和橱柜看：
“我现在有什么材料？这些材料能做什么？还缺什么？”
知识点 3：现有数据（secondary data）不是拿来就能直接用 课件第9-11页讲 existing data / secondary data：它指的是别人为别的目的收集好的数据。来源可以是内部数据（business records、historical data、transactional data）或外部数据（政府、行业报告、公开数据库、研究机构、媒体、社交媒体）。课件也给了优点和限制：省时间省成本、覆盖广，但可能不相关、不够准、也不一定能访问。老师特别强调： “看得到”不等于“拿得到”，“开放”也不等于“无限制使用”。
因为真实项目里，你经常不是从零开始采数据，而是先接手现成数据。重点不是“有没有数据”，而是“和当前问题匹不匹配”。
Assessment 1 就是典型例子：你拿到的数据不是你自己采的，所以你必须先理解它，再决定怎么分析它。
别人收好的数据像“二手资料”。它很方便，但不是为你量身定做的，所以你要先问：
知识点 4：数据结构要分清 课件第12-17页把数据分成 structured、unstructured、time-series、graph、big data 等。老师口头解释特别重要：
Structured data ：结构清楚，像数据库表、Excel 表。
Unstructured data ：没有固定格式，像文本、图片、视频。
Semi-structured data ：介于中间，像 JSON、XML。
Time-series ：带时间顺序的数据，时间这个维度本身有意义。
Graph data ：重点是“关系”，不是单个点本身。
Big data ：老师特别强调， 不是只看大不大，而是看是否已经超出你的处理能力 ；而且 big data 可以是 structured / unstructured / semi-structured 中的任意一种，不是单独一种“新结构”。
因为不同结构的数据，处理方式完全不同。你不能拿处理表格的方法去直接处理社交媒体关系图，也不能用简单统计去直接吃掉图片和视频。
后面的清洗、转换、抽取、整合，方法都建立在“你先知道数据长什么样”上。
Structured：像排好列的成绩单
Unstructured：像一堆聊天记录、照片、视频
Semi-structured：像有标签但没完全整齐排表的快递单
Time-series：像每天的股价、病例数
Graph：像谁关注谁、谁和谁是朋友
Big data：不是“看起来很多”，而是“你已经快处理不动了”
知识点 5：Data Discovery 不是一个点，而是一整条流程 找数据源
做 profiling 和 assessment
收集 metadata
清洗和准备
整合多个来源
做安全/合规检查
做 EDA 和可视化
文档化并分享给 stakeholder。
老师口头把这条链解释得更实际：你不只是“发现数据”，还要一路把数据变成团队能理解、客户能信任、后续能继续用的成果。
因为很多学生容易把 data discovery 理解成“搜数据”这一步，但实际上它是一个从“找到”到“理解”再到“交付”的过程。
这几乎就是整门 Data Wrangling 的主线缩影。后面每周都只是把其中某几步讲得更深。
找到 → 看懂 → 检查 → 整理 → 保护 → 探索 → 说明白。
知识点 6：Data Profiling、Metadata、Quality Assessment 很关键 课件第12、18-20页讲 data profiling、content exploration、quality assessment、metadata management。老师口头补得很实用：
因为你后面分析得再漂亮，如果一开始就误解字段含义，结论会全错。
这一步直接决定 cleaning 和 EDA 的质量，也是报告中“你真的理解数据了吗”的证据。
Metadata 就像“数据说明书”。没有说明书，你就要自己去找线索，不然你可能连按钮都按错。
知识点 7：什么是 Data Collection；Primary vs Secondary 课件第26-27页定义了 data collection：系统地收集、测量你关心的信息，用来回答研究问题、检验假设、评估结果。Primary data 是你自己为当前项目一手采的；Secondary data 是别人以前采好的，现在你拿来再用。老师还特意问同学举例：问卷、传感器、实验、观察、访谈都算 primary data。
因为这会影响你对数据的控制程度。Primary data 你更能控制质量、范围和方法；Secondary data 更省事，但更可能“不完全适配”。
Data wrangling 不只是在“处理现成数据”，也包括当现成数据不够时，知道该如何设计采集。
知识点 8：Quantitative vs Qualitative 课件第28页区分 quantitative data 和 qualitative data。前者是能数值化、能测量的；后者更偏描述、经验、意义、文本或视觉内容。老师口头也用“能不能量化”来帮助区分。
因为分析方法不一样。定量常配统计、图表、趋势；定性更重解释、理解观点与语境。
后面你选 EDA、NLP、特征提取、可视化方式，都和这个区分有关。
知识点 9：按数据类型选采集方法 Structured：问卷、在线表单、web scraping、关系数据库、API
Unstructured：text mining / NLP、图像视频、社交媒体和网页内容
Semi-structured：JSON/XML、logs、sensor data、email communication data。
老师口头还补了不少现实感很强的内容，比如：Week 9 会做 web scraping；BeautifulSoup 会用到；做数据工作最好会 MySQL；NLP 可用 NLTK、spaCy，甚至 ChatGPT 也可以作为工具；但是 Assessment 里还是 Python 为主。
因为“怎么采”不只是技术问题，也是质量、效率、合法性、成本问题。
课程不是只让你会“清洗”，而是要你能从源头思考：这个数据应该怎么进来。
表格类可以直接装箱；文本图片类得先拆解；JSON/XML 像有层级的包裹，要先展开。
知识点 10：伦理、隐私、合规、文档，不是附加题，是主线 课件第22页提到 security and compliance，第39页专门讲 ethical considerations and privacy。老师口头对这部分讲得非常重：
因为这不是“写在最后凑字数”的内容，而是决定你能不能合法、安全、专业地做项目。
Data wrangling 的目标不是“能处理”，而是“能负责任地处理”。
“能看到” ≠ “能抓取” ≠ “能公开用” ≠ “能发表”。
3. 老师强调的重点
A. 概念上最重要的重点 1）Finding、Insight、Machine Learning Question 一定要分清
这是本周最明显的重点之一。老师不止一次说：finding 只是结果呈现，insight 是更高一层、能带来意义和行动的判断；machine learning question 又是再往后走的一步。她明确把这三者跟 Assessment 1 绑在一起。
为什么我判断它重要 ：重复讲、多次回到作业要求，而且直接说“你需要 clearly understand what is a finding, what is an insight, what is a machine learning question”。
2）EDA 是 Assessment 1 的主战场
老师明确说 EDA 是 main part，而且很花时间；18 个 attributes 可能会衍生出 50-100 个候选可视化，但报告里只要高质量的。
为什么重要 ：这已经不是暗示，是非常直接的作业指导。
3）Data discovery 的重点不是“找到数据”，而是“判断是否适合回答问题”
包括 relevance、quality、accessibility、metadata、privacy、integration。
为什么重要 ：这贯穿课件第6-23页，也是老师口头不断把“找数据”和“Assessment 1 数据理解”连接起来的主线。
4）Big data 的定义要真的懂，不要死背“大=big”
老师在课堂上专门问“big data 是 structured / unstructured / semi-structured 哪一种”，最后给出的核心答案是： it depends ；重点是“超出处理能力”。
为什么重要 ：课堂互动题 + 老师反复追问，明显是可考的概念点。
5）伦理、隐私、许可、API policy 非常重要
老师在这部分讲了很久，而且用了研究审批、公开数据、API、TripAdvisor 许可、论文撤回等多个例子。
为什么重要 ：花时间最长、案例最多、还明确说 “extremely important”。这既可能是 quiz/exam 的概念点，也很可能是以后 thesis / project 的高风险点。
老师明确说：报告必须清楚，结构完整，有 introduction / conclusion；如果我们看不懂，你就 lose mark。
为什么重要 ：直接关系 Assessment 1 评分。
B. Assessment / Quiz 相关的重点提醒 7）Week 6 quiz 覆盖 Week 1-6 seminar，现场做，不在家做，不考 coding
但老师也补了一句：虽然“不需要你写 code”，不代表不会让你“看懂 code”，还点到了 regular expression。
为什么重要 ：这是最直接的 quiz 范围与形式说明。
8）Assessment 1 现在就该推进，先做 Task 1，再尽快进 EDA
老师明显担心大家进度太慢，还说目前很多人连 Task 1 都没完成。
为什么重要 ：这是时间管理上的重点，不懂不一定挂，但不做很容易直接翻车。
9）Flickr 数据不能只看老师给你的表，必须回原平台理解
老师明确说上学期很多同学没去看 Flickr 网站和数据背景，结果丢分。
10）视频展示不是走形式，所有组员都要开口，而且不能照稿念
为什么重要 ：这也是明确的 assessment requirement。
4. transcript 里补充的重要信息 下面这些内容，很多在课件里写得比较概括，但老师口头讲得更具体，实际更有用：
1）“Actionable insight” 的标准
老师解释得很清楚：不是随便提出一个很宏大的想法就算 insight；它要有意义，而且要考虑时间、资源、客户需求，最好真能做。比如“把产品分群”“做分类任务”是现实的；“搬去月球”“这学期造个机器人替我写作业”就不现实。这个口头解释比课件里“gain actionable insights”更具体。
2）“Potential for analysis” 也有价值
老师说，有些分析你现在做不完、数据不够、技术暂时不够，但只要它有意义，仍然值得作为后续建议。这一点很适合作业里写“未来可扩展方向”。
她用 rare cancer 举例：如果病例极少，反而很难研究。所以 volume challenge 不是只指 big data。这个补充把课件第7页的 “volume and complexity” 讲活了。
老师举了很多例子：Flickr 只开放一部分数据；城市字段会缺失，因为有人不愿暴露位置；医院和 GP 数据也不会自动共享。也就是说，数据“存在”不代表你“能拿全”。
老师说得很直白：现实里不会总有人给你完整 data dictionary，所以你要养成主动记录、主动查询的习惯。她还说 metadata 甚至可能比数据本身还大。
课件第16页写 social network analysis、recommendation、fraud detection；老师口头把它讲成商业语言：谁是“hub”“关键人”“意见领袖”，抓住这些人，广告传播就更有效。这个解释更容易懂。
7）Big data 那一页的口头解释比课件更准确地帮助考试理解
课件第17页偏概括；老师则直接说：big data 可以是 structured / unstructured / semi-structured 中任意一种，关键是超过处理能力。
这不是冲突，是 transcript 对课件的进一步精细化说明。
老师说 18 个属性可能会产出 50-100 个候选可视化，但最后只保留高质量的。这是非常实用的作业提醒，课件第22-23页只写了 EDA 和 documentation，本身没说到这个工作量。
9）工具部分，课件只是列名字，老师补了“就业价值”
课件第24页列了很多 discovery tools；老师口头说，Assessment 里还是 Python，但找工作时至少要知道 Tableau / Power BI 这些名字，尤其 Power BI 很值得优先学。
老师口头强调，industry project、minor thesis、公开数据、API 数据，都可能要看 ethics / policy / licence，而且审批可能非常慢，要尽早考虑。这个比课件第39页“Ethical considerations and privacy”更接近真实项目。
我没有看到课件和 transcript 在核心概念上互相矛盾。更多是： 课件给框架，老师口头把框架变成作业要求、考试提醒和真实案例。 最接近“看起来不一样”的地方是 big data，那也是补充，不是冲突。
5. 这周最可能要掌握的考点 / 作业相关点
更像 quiz / exam 概念题的部分 Structured / Unstructured / Semi-structured
Time-series / Graph / Big data
Finding / Insight / Machine learning question
更像 assignment 会直接用到的部分 1. 你能不能讲清楚你的数据是什么、从哪来、有什么限制
2. 你能不能从 EDA 里筛出“高质量可视化”而不是堆图
3. 你能不能把 finding 升级成 insight
这非常像 Assessment 1 的核心评分差异点。
4. 你能不能提出合理的 machine learning question
5. 你能不能把 report 写清楚、写得像一个整体
6. 我应该怎么学这周内容
推荐学习顺序 Data discovery vs data collection
Quantitative vs qualitative
Structured vs unstructured vs semi-structured
Finding vs insight vs machine learning question
第二步：把 discovery process 顺一遍
按“找数据 → 评估 → metadata → 清洗准备 → 整合 → 安全合规 → EDA → 文档分享”记下来。先会默写流程，再去看每一步的作用。
看到 structured data，能想到 survey / DB / API；
看到 unstructured，能想到 text / image / video / social media；
看到 semi-structured，能想到 JSON / XML / logs / sensor / email。
第四步：重点攻 ethics / privacy / access
这部分不是冷知识，而是“项目能不能做”的前提。尤其要记住：
public ≠ free to use without restriction。
这是什么类型？
有什么限制？
我能做哪些 EDA？
哪些是 findings？
哪些能升级成 insights？
哪些能变成 ML question？
你必须先搞懂的基础概念 数据来源、数据类型、数据结构、数据质量、metadata、insight、EDA、ethics/privacy。
哪些内容属于“理解型” 为什么 data discovery 不是简单搜数据
为什么 relevance 比“数据多不多”更重要
为什么 graph/time-series 需要特别看待
为什么 ethics/privacy 是项目主线，不是附加项
为什么 insight 不是“我觉得”，而要有证据和行动价值
哪些内容属于“记忆型” Data discovery process 各步骤
Primary / secondary 的定义
Quantitative / qualitative 的定义
Structured / unstructured / semi-structured 的定义和例子
各类 collection methods 的典型方法
伦理部分的关键词：consent、privacy、security、retention、fairness、minimisation
哪些内容属于“应用型” 给你一个数据集，判断它属于什么类型
给你一个项目，选择合适的数据来源或采集方法
给你一组 EDA 结果，区分 finding / insight / ML question
给你一个公开平台，判断是否存在 access / privacy / licence 风险
写出一个清楚的报告结构与 justification
哪些内容只需要了解
哪些内容需要重点掌握 1. discovery vs collection
2. data type / structure 区分
4. relevance / quality / access / metadata 判断
5. ethics / privacy / compliance
6. finding / insight / ML question 的区别与作业落地
哪些地方最容易混淆 Primary vs Secondary ：不是看数据“新不新”，而是看“是不是你为这个项目亲自采的”
Quantitative vs Qualitative ：不是看“重要不重要”，而是看“能不能数值测量”
Structured vs Semi-structured ：JSON/XML 不是完全无结构，它们是“有标签、有层级，但不是传统表结构”
Big data ：不是只看体量，而是看处理能力是否被超越
Finding vs Insight ：finding 是看到什么；insight 是这意味着什么、能做什么
Data available vs Data accessible ：网上看得到，不代表你有权限完整、合法地拿来用
学完后，你应该能回答哪些问题，才算真的掌握 什么是 data discovery？为什么它在分析前必须先做？
existing data 的优点和限制分别是什么？
给一个数据源，你怎么判断它是否 relevant？
structured / unstructured / semi-structured 各举两个例子。
为什么 time-series 和 graph data 不能当普通表格随便看？
big data 的本质定义是什么？
primary 和 secondary data 到底怎么区分？
qualitative 和 quantitative 的区别是什么？
为什么 metadata 很重要？
什么叫 actionable insight？
finding、insight、machine learning question 有什么不同？
为什么公开/API 数据也要考虑 ethics、privacy、licence？
如果你来做 Assessment 1，你下一步应该先做什么？
老师的答案其实已经很明显： 先把 Task 1 搞清楚，然后尽快进入 EDA。
7. 给我一份简短复习清单
8. 如果我是初学者，你再用更简单的话解释一遍 “这些东西能做什么？够不够？是不是坏了？有没有说明标签？”
像你进一步判断：“番茄快熟透了，今晚最好先做番茄菜，不然会坏。”
“我这个数据到底适不适合这个问题？有没有风险？我最后能不能提出真正有用的结论？”
如果你接下来要做 Assessment 1，我建议下一步直接把这周内容转成一张“作业检查表”： 数据来源、字段理解、缺失/质量、EDA计划、finding、insight、ML question、ethics/privacy 。