学习

FIT5196 Seminar Week 12 · Jimmy Huang's Blog

阶段	中文理解	主要作用
Data Discovery	数据发现	理解有哪些数据、数据从哪里来、能支持什么问题
Data Collection	数据收集	从数据库、API、网页、传感器、文件等来源获取数据
Data Cleaning	数据清洗	处理错误、不一致、重复、缺失、异常等问题
Data Pre-processing	数据预处理	为后续分析或模型训练准备数据，例如标准化、编码、筛选
Data Transformation	数据转换	改变数据格式或结构，例如聚合、拆分、重塑、特征转换
Data Enrichment	数据丰富化	添加外部信息或额外上下文，让数据更有解释力
Data Storing	数据存储	选择合适方式保存数据，保证可访问、可扩展、可复现
Data Validation	数据验证	检查处理结果是否合理、完整、符合业务规则

问题	含义
可解释性（Interpretability）	主成分是原始特征的组合，不一定容易解释成现实含义
线性假设（Linear Assumption）	PCA 更适合线性结构数据，对非线性分布不一定有效
对缩放敏感（Scaling Sensitivity）	特征尺度不同会影响主成分方向，因此通常需要标准化
基于方差选择（Variance-based Selection）	方差大不一定代表对任务最有用
对噪声敏感（Noisy Sensitivity）	噪声可能影响主成分方向
数据依赖（Data Dependency）	不同数据集得到的主成分可能不同
计算复杂度（Computational Complexity）	大规模高维数据上计算成本较高

方法	更适合的数据结构	距离理解	优点	局限
PCA	线性结构	直接欧氏距离	简单、常用、适合快速降维和可视化	对非线性数据表现有限
ISOMAP	非线性流形结构	沿数据表面的测地距离	能展开弯曲结构，更适合复杂分布	对邻居选择和数据质量敏感，计算更复杂

场景	可能包含的数据类型
医疗诊断	CT 图像、MRI 图像、医生报告、ECG 信号、血液检测结果
社交媒体分析	文本、图片、视频、用户信息、时间戳、互动数据
智能设备健康监测	ECG、运动数据、睡眠数据、用户基本信息、用药信息
能源系统分析	电价、需求、天气、发电机传感器、市场规则

展开内容

后半部分由 Monash Energy 方向介绍了一系列能源相关学生项目。这些项目展示了数据整理在能源市场、风电、优化和量子计算中的应用。

项目 1：Australian Electricity Market Analysis Under Extreme Weather Events

项目目标

该项目研究澳大利亚国家电力市场（Australian National Electricity Market, NEM）中，极端天气事件与维多利亚州电价波动之间的关系。

使用的数据包括：

澳大利亚能源市场运营商（Australian Energy Market Operator, AEMO）的电价和需求数据；
澳大利亚气象局（Bureau of Meteorology, BOM）的天气观测数据。

主要发现

项目结果显示：

高温日（Heat Days）与更高的电价波动有关；
风力不足或风旱（Wind Droughts）也与更高的电价波动有关；
强降雨（Heavy Rain）没有表现出强显著性。

与数据整理的关系

这个项目体现了典型的数据集成问题：

电力市场数据和天气数据来自不同来源；
时间粒度可能不同；
需要对齐日期、时间、地区和事件类型；
需要构造天气事件特征；
需要分析哪些外部因素会影响价格波动。

可以这样理解：

能源市场分析不仅是看电价本身，还要把天气、需求、发电条件等外部上下文融合进来。

项目 2：Data Ingestion for Mooring Integrity Monitoring on Offshore Wind Farms

项目背景

该项目与 AMOG Consulting 合作，研究海上风电场浮式风机的系泊完整性监测数据如何高效采集、处理和存储。

主要挑战

风电设备会持续产生高频传感器数据：

数据可能以毫秒级速度产生；
每个发电设备可能有多列传感器数据；
数据量增长非常快；
不是每一列、每一个时间点都同样重要；
存储结构设计会直接影响后续分析效率。

项目成果

项目目标是设计高效计算方案和数据库结构，用于摄取和存储智能系泊完整性监测数据。

与数据整理的关系

这个项目强调的是数据整理流程中的前端部分：

数据收集；
数据摄取（Data Ingestion）；
数据裁剪；
数据库 schema 设计；
大规模传感器数据的存储优化。

可以这样理解：

在一些工业项目中，最大问题不一定是“怎么建模型”，而是“怎么把高速产生的数据可靠地存下来”。

项目 3：Deep Learning for Energy Optimisation Problems / Minizinc Toolbox

项目目标

该项目希望开发软件工具或方法，用于快速生成能源优化问题或 Minizinc 优化问题的机器学习原型。

背景理解

传统优化问题通常需要用户手动写出：

目标函数；
决策变量；
约束条件；
优化方向；
问题格式。

这对于非专业用户来说门槛较高，也非常耗时。

项目希望通过机器学习或软件工具减少这部分人工负担，让用户更专注于“真正想优化什么”，而不是花大量时间学习如何把问题写成某种软件对象。

与数据整理的关系

这个项目虽然偏优化和软件工具，但仍与数据整理相关：

需要把问题描述转换成结构化形式；
需要从已有优化问题中提取变量、约束和模式；
需要生成可用于机器学习原型的数据表示；
需要保证转换后的结构能被优化工具或模型正确使用。

项目 4：Learning Energy System Optimisation Problem — Human-supervision vs Self-supervision

项目目标

该项目研究监督学习（Supervised Learning）和自监督学习（Self-supervised Learning）在交流最优潮流（AC Optimal Power Flow, AC-OPF）问题上的差异。

AC-OPF 是电力系统中非常重要的问题，和日常运行以及市场出清有关。

核心问题

传统优化求解可能需要较长计算时间。随着太阳能、风能等可再生能源接入增加，电力系统变化更快，因此希望模型能够更快给出近似最优解。

研究问题包括：

能否用机器学习学习优化问题的解；
监督学习和自监督学习各有什么优缺点；
在极端或变化场景下模型是否仍然可靠；
近似解是否足够用于实际操作。

与数据整理的关系

该项目需要处理大量电力系统状态、约束和求解结果。

数据整理任务包括：

构造训练数据；
表示电网拓扑和约束；
对齐输入状态和输出解；
评估模型在不同场景下的表现。

项目 5：Hybrid Approach for Probabilistic Wind Power Forecasting

项目背景

风电具有波动性，因此短期预测对电网平衡发电、需求和备用容量非常重要。

而且运营预测不仅要给出一个点预测，还需要表达不确定性。

项目目标

该项目研究混合式概率风电预测模型。

方法管线

课件中提到的混合管线包括：

两阶段信号分解：ICEEMDAN + VMD；
深度序列模型：LSTM、TCN、TFT、GNN；
残差高斯 Copula（Residual Gaussian Copula）。

与数据整理的关系

风电预测需要大量时间序列数据处理：

清理风速、风向、发电量等数据；
处理缺失和异常；
分解信号以减少噪声或提取模式；
构造时间窗口特征；
输出概率分布或不确定性区间。

可以这样理解：

风电预测不是简单预测“下一小时发多少电”，而是要告诉系统“可能是多少、风险有多大、不确定性在哪里”。

项目 6：Active Learning for Physics-Informed Neural Networks on AC-OPF Problems

项目目标

该项目研究主动学习（Active Learning）如何影响物理信息神经网络（Physics-Informed Neural Networks, PINNs）在 AC-OPF 问题上的训练效果。

核心思想

主动学习关注的是：

哪些样本最值得加入训练；
如何用更少数据提升模型表现；
如何让模型更有效地学习关键场景。

PINNs 的特点是把物理规律或约束融入神经网络训练中。

与数据整理的关系

该项目需要：

筛选有代表性的训练样本；
处理电力系统状态和约束；
评估模型在训练期和测试期的误差变化；
结合物理约束解释模型表现。

项目 7：Practicality of Quantum Fast Decoupled Power Flow

项目目标

该项目研究使用 Harrow-Hassidim-Lloyd（HHL）量子算法解决电力潮流问题的实际可行性，并以快速解耦潮流（Fast Decoupled Power Flow, FDPF）作为案例。

背景理解

量子计算已经可以通过云平台进行实验，例如 IBM 或 Amazon 的量子计算服务。但当前量子设备仍然存在噪声和误差问题。

项目重点

研究问题包括：

HHL 算法能否用于经典电力系统优化或潮流问题；
云端量子计算设备的误差是否可接受；
当前量子算法在实际日常电力系统运维中是否足够实用；
哪些问题仍然需要进一步研究。

与数据整理的关系

虽然该项目偏计算和算法，但仍涉及：

将经典电力问题转换为量子算法可处理的形式；
处理实验结果和误差；
比较不同量子后端或模拟器表现；
分析计算结果的可靠性。

FIT5196 Seminar Week 12

Learning Outcomes

本周在课程中的位置

FIT5196 Seminar Week 12

Learning Outcomes

本周在课程中的位置

Data Wrangling Tasks Recap

Advanced Data Wrangling Techniques

1. 自动化数据清洗（Automated Data Cleaning）

规则驱动清洗（Rule-based Cleaning）

异常检测（Anomaly Detection）

数据插补（Data Imputation）

社交媒体异常检测案例：Twitter/X 评论与 KNN

数据背景

数据挑战

处理流程

Step 1：数据预处理（Data Preprocessing）

Step 2：异常检测（Anomaly Detection）

这个案例的重点

2. 高级数据插补方法（Advanced Imputation Methods）

为什么简单插补不够

机器学习插补的基本思想

个性化插补的例子：ECG 信号

3. 基于机器学习的特征工程（Feature Engineering with Machine Learning）

特征生成与特征提取（Feature Generation / Extraction）

ECG 特征提取案例：心律失常（Cardiac Arrhythmia）

数据背景

主要挑战

数据整理思路

与 S1 2026 Minor Thesis 项目的关系

语音数据特征提取案例（Speech Data Analysis）

数据背景

主要挑战

处理流程

特征选择（Feature Selection）

降维（Dimensionality Reduction）

主成分分析（Principal Component Analysis, PCA）

PCA 的基本思想

PCA 的问题

Seminar 中补充的理解

等距映射（ISOMAP）

ISOMAP 的核心思想

PCA 与 ISOMAP 的对比

4. 数据集成与融合（Data Integration and Fusion）

多模态数据的例子

医疗多模态例子

生成式 AI 与多模态数据

Minor Thesis Project 方向：Health and Education

S1 2026：使用智能手表监测中风患者

S2 2026 项目 1：LLM-based Public Health Support System

S2 2026 项目 2：Multimodal System for Mental Health Clinician Training and Coaching

S2 2026 项目 3：LLM-based Learning Analytics — Stroke Education

S2 2026 项目 4：Living Evidence Development Support Tool

S2 2026 项目 5：AI-based Interactive Education Materials Development

Monash Energy Student Projects

项目 1：Australian Electricity Market Analysis Under Extreme Weather Events

项目目标

主要发现

与数据整理的关系

项目 2：Data Ingestion for Mooring Integrity Monitoring on Offshore Wind Farms

项目背景

主要挑战

项目成果

与数据整理的关系

项目 3：Deep Learning for Energy Optimisation Problems / Minizinc Toolbox

项目目标

背景理解

与数据整理的关系

项目 4：Learning Energy System Optimisation Problem — Human-supervision vs Self-supervision

项目目标

核心问题

与数据整理的关系

项目 5：Hybrid Approach for Probabilistic Wind Power Forecasting

项目背景

项目目标

方法管线

与数据整理的关系

项目 6：Active Learning for Physics-Informed Neural Networks on AC-OPF Problems

项目目标

核心思想