Activity 2.1: Describing the Job
备用
Summary
这份 Activity 的核心目的就是:用真实的招聘与搜索数据来“画像”数据科学岗位,并练习从文本中提炼信息的思维与方法。具体想让你达成——
- 理解岗位与术语热度/需求的关系:先用 Google Trends 比较 “Data Scientist / Big Data / Data Analyst / Data Science”,再把结果和澳洲招聘现状对照,体会地域与时间差异(美国趋势 vs 澳洲当下)。
- 认识市场与技能构成:在澳洲与英国的权威/招聘站点(Hudson、ABS、Jobs & Skills、Adzuna)查看公司、技能、薪资、地域等概览,并留意相关职位名(如 Business Analyst)。
- 练习“获取—清洗—对齐”数据:思考如何从搜索结果页拿到数据、如何清洗页面噪声(如 Seek 的“Add to shortlist”),为后续分析做准备。
- 手工信息抽取:从5 条招聘里提取主要术语/技能/资格/公司/地点/薪资,体会同义词(munging vs wrangling)、歧义(“Apple”到底是公司、苹果还是地名)和人工方法是否可扩展。
- 对比自动抽取:把一条招聘文本丢进 OpenCalais 做实体标注,看看哪些正确哪些不准,并顺带认识 RDF 的表示方式。
- 理解文本挖掘的挑战:从这次练习认识到信息抽取/文本挖掘为什么难(同义词、歧义、上下文依赖、标注质量等)。
一句话总结:这项活动让你用数据驱动的方式去“描述岗位”——看趋势、看市场、手工+自动抽取,再反思信息抽取与清洗的难点,从而形成对 Data Scientist/相关岗位更现实、可操作的认知。
Step 1
trends.google.comtrends.google.com/trends?geo=USSearch for “Data Scientist", "Big Data", "Data Analyst”
Step 2
Search for the same exact terms on Seek.com.au