跳到正文FIT5196 Seminar Week 5 · Jimmy Huang's Blog用户行为、个性化服务
| 创新与产品开发（Innovation and Product Development） | 发现市场需求、形成反馈闭环 | 市场需求、反馈循环 |
| 合规与治理（Regulatory Compliance and Governance） | 满足监管要求并提升透明度 | 合规监控、报告与透明度 |
| 危机管理与韧性建设（Crisis Management and Resilience Building） | 监测异常、预测危机并快速响应 | 危机预测、恢复能力 |
在研究中的作用
数据发现（Data Discovery）
什么是数据发现
数据发现是识别并理解可用于分析的数据源的过程。
可以这样理解：
数据发现不是直接“拿来就分析”，而是先回答下面几个问题：
课上特别强调：Finding / Insight / Potential 的区别
数据发现面临的主要挑战
课堂补充理解：“数据量大”不是唯一问题，数据太少同样会限制分析。
社交媒体数据常见问题是：缺失多、格式杂、变化快、访问受限。
很多平台即使开放 API，也只开放数据的一小部分，所以还要判断样本是否足够代表整体。
数据发现流程（Data Discovery Process）
1. 识别数据源
先盘点现有数据（Existing Data / Secondary Data）
内部来源（Internal Sources）
业务记录（Business Records）
历史数据（Historical Data）
交易数据（Transactional Data）
外部来源（External Sources）
政府出版物（Government Publications）
行业报告（Industry Reports）
公共数据库与档案（Public Databases and Archives）
学术与研究机构（Academic and Research Institutions）
媒体档案（Media Archives）
社交媒体与在线内容（Social Media and Online Content）
使用现有数据的价值与限制
2. 数据画像与评估（Data Profiling and Assessment）
先看数据结构
结构化数据（Structured Data）
结构化数据组织性强，易于机器语言理解，通常存储在数据库中。
半结构化数据（Semi-structured Data）
非结构化数据（Unstructured Data）
非结构化数据是指没有预定义数据模型或未按预定义方式组织的信息。
时间序列数据（Time-series Data）
时间序列数据是指按时间顺序（通常以固定时间间隔）索引的一系列数值数据。
这在金融分析、传感器数据和应用程序性能监控中很常见
同样一组数字，如果丢掉“何时发生”，很多趋势、峰值和恢复过程就看不出来了。
图数据（Graph Data）
图数据关注的不是孤立样本，而是谁和谁相连、谁处在中心、谁是桥梁节点。
在社交网络、推荐系统、欺诈检测中，这类关系往往比单个样本本身更重要。
大数据（Big Data）
指的是数据量如此庞大，以至于传统数据处理软件无法处理的数据。
大数据涵盖了所有前面提到的数据结构，但规模更大，速度更快
课堂补充理解：大数据不局限于某一种结构，它可以是结构化、半结构化或非结构化数据。
判断标准不是“绝对有多大”，而是是否已经超出当前工具或系统的处理能力。
常见理解会提到 3V/4V/5V，但本周更重要的是把握：体量、复杂度、速度会一起影响可处理性。
内容探索（Content Exploration）
看清数据里到底包含什么类型的信息：类别型数据（Categorical Data）
数值型数据（Numerical Data）
文本型数据（Textual Data）
质量评估（Quality Assessment）
3. 数据目录与元数据管理（Data Cataloging and Metadata Management）
什么是元数据（Metadata）
元数据就是“关于数据的数据”，例如：数据来自哪里；
数据是什么格式；
字段是什么意思；
谁创建、谁维护、谁能访问；
它被如何处理过、被谁使用过。
常见元数据类型
数据目录（Data Catalog）与数据血缘（Data Lineage）
4. 数据清洗与准备（Data Cleaning and Preparation）
5. 数据整合与统一（Data Integration and Consolidation）
6. 安全与合规检查（Security and Compliance）
访问控制（Access Control）：只让有权限的人访问相应数据；
权限应和角色、数据敏感度匹配。
7. 数据探索与可视化（Data Exploration and Visualization）
8. 文档化与共享（Documentation and Sharing）
数据发现工具与平台
数据采集（Data Collection）
什么是数据采集
一手数据 vs 二手数据（Primary vs. Secondary Data）
定量数据 vs 定性数据（Quantitative vs. Qualitative Data）
数据采集方法总览
结构化数据（Structured Data）的采集方法
调查与问卷（Surveys and Questionnaires）
在线表单（Online Forms）
重点考虑：用户体验与表单设计；
隐私与安全；
可访问性；
数据质量。
常见工具（课件示意）：Google Forms
SurveyMonkey
Qualtrics
网络爬取（Web Scraping）
关系数据库（Relational Databases）
重点考虑：数据库设计与结构；
数据质量与完整性；
扩展性与性能；
安全措施；
备份与恢复；
合规；
可访问性与文档；
监控与维护。
应用程序接口（API）
非结构化数据（Unstructured Data）的采集方法
文本挖掘与自然语言处理（Text Mining and NLP）
重点考虑：数据质量与数据量；
预处理；
选择合适的 NLP 技术和模型；
理解上下文和细微语义；
伦理与偏差；
模型评估与验证；
可扩展性与算力；
与其他数据源的整合。
课件示意工具包括：自然语言工具包（NLTK）
spaCy
ChatGPT
图像与视频数据
重点考虑：一致的质量与足够的分辨率；
多样性与代表性；
伦理与法律合规；
文件体量与组织方式；
标注（Annotation）与标签质量；
标准格式转换；
偏差控制；
带宽与传输；
是否需要实时处理。
社交媒体与网页内容
半结构化数据（Semi-structured Data）的采集方法
JSON / XML 数据提取
日志与传感器数据（Logs and Sensor Data）
邮件与通信数据（Email and Communication Data）
重点考虑：隐私与法律合规；
同意与授权；
敏感信息处理；
复杂结构；
元数据提取；
附件处理；
去重；
噪声过滤。
伦理、隐私与合规（Ethical Considerations and Privacy）
核心原则
课堂补充提醒
公开可见不等于可以随意抓取、分析和发表。
API 可访问不等于没有使用限制。
在平台数据、行业数据、公共数据上工作时，都要检查： 在研究项目中，伦理审批往往不是形式问题，而是会直接影响：能不能接触数据；
能不能继续研究；
结果能不能正式发表。
Summary
本周最核心的事，是把“数据工作”的起点想清楚：先发现数据，再评估数据，再决定怎么采集和怎么用。
数据发现（Data Discovery）关注的是：数据源、数据结构、数据质量、数据意义、数据可行性。
数据采集（Data Collection）关注的是：根据不同数据类型，选择合适的方法并控制质量、权限与合规风险。
现成数据（Secondary Data）很有价值，但一定要评估它和当前问题的相关性、质量与可访问性。
元数据、数据血缘、文档化、隐私和伦理，不是附属工作，而是让数据分析可信、可复现、可落地的关键。
课件中的时间序列图和网络图也提醒我们：
数据的价值有时不在单个字段本身，而在时间顺序和关系结构里。
下周将继续进入数据结构化（Data Structuring），也就是把“已发现/已采集”的数据组织成更适合后续处理和分析的形式。
{
"meta": {
"view": {
"id": "xxx",
"name": "dataset_name",
"category": "..."
}
}
}
<response>
<row id="1">
<featureName>...</featureName>
<coordinates latitude="..." longitude="..." />
</row>
</response>