1) 文档定位与主线

本讲作为“数据工程”入门，采用与软件工程并行对照的方式，提出一组统一的“七问”来界定工作对象、目标、工具与流程，从而搭建起理解数据工程的骨架。

• 软件工程的七问：构建什么、用途是什么、谁来用、用什么工具、遵循何种方法/流程、原材料是什么、需求是什么。
• 数据工程的七问：与上面相同的框架，但回答围绕“数据”本身展开。

2) 关键问题的逐条回答（数据工程视角）

(1) 我们在构建什么？

答案：数据。 数据工程是在“设计与构建数据”，而不是简单拿来即用；这也引出一个追问：“数据不是已经在那里了吗？”——表明原始数据与可用数据之间存在差距，需要工程化加工来弥合。

(2) 用途是什么？

答案：用于数据分析（data analysis），覆盖数据建模、预测、趋势分析、聚类/分类、仪表板、描述性/规范性分析、因果分析等广泛场景。

(3) 谁来使用？

数据科学家、数据挖掘人员、数据分析师、机器学习专家等是数据工程产物的主要使用者。

(4) 原材料是什么？

答案：原始数据（raw data）——“用数据来制造数据”（Data to build Data）。核心差异在于：原始数据尚未就绪，不能直接支撑分析/建模，需要经过抽取、清洗、标准化、整合与建模等过程。

(5) 原始数据从哪里来？谁是生产者？

来源多元：事务与数据库、公开数据集/第三方、设备/传感器（测量数据）、软件应用/APP/爬虫、地图数据等。

并且原始数据的格式多样：非结构化文本、结构化、半结构化、CSV、专用结构，以及其他多媒体数据。

(6) 用什么工具？遵循哪些方法/流程？

后续课程将从两条主线展开：

• 数据工程架构（Data engineering architecture）；
• 数据工程组件（Data engineering components）。

  这为技术与流程的系统化学习定下方向。

3) 结构化理解：为何需要“工程化”

从“我们在构建可用于分析的数据”出发，讲义强调：

• 原始数据并非现成可用，必须经过一套工程化流程加工；
• 产物的直接消费者是分析/建模岗位，因此数据工程是供给侧的基础设施；
• 架构与组件的系统化组织，保证可维护、可扩展、可复用的交付能力。

4) 与软件工程的对照启示

使用同一组“七问”进行对齐，有助于把需求—原料—方法—工具—产物—用户的链条打通：

• 在软件工程中，产物是软件/系统；
• 在数据工程中，产物是数据资产（可分析的数据）。

  这种并行关系帮助你把数据工程看作面向数据的系统工程，强调过程纪律与质量而非一次性的脚本杂糅。

5) 复习清单（Cheat Sheet）

• 产物：可用于分析的数据（“We are designing and building data!!”）。
• 用途：建模、预测、趋势、聚类/分类、仪表板、描述/规范性、因果分析。
• 使用者：数据科学家、数据分析师、数据挖掘/ML 专家。
• 原材料：原始数据（未就绪，需要工程化）。
• 来源/生产者：事务/DB、公开/第三方、传感器、应用/爬虫、地图。
• 数据格式：非结构化、结构化、半结构化、CSV、专用结构、多媒体。
• 工具/方法主线：数据工程架构与数据工程组件（后续课程详述）。

6) 作业/实践落地建议（基于讲义思路的可操作扩展）

以下为便于在实验或项目中直接使用的建议（属扩展总结）：

1. 先回答“七问”再动手：把目标（用途）与用户（谁用）写清楚，再定位产物（要交付的数据形态与粒度）。
2. 定义“原材料→成品”的加工路线：列出数据源、格式、质量问题清单，明确清洗/标准化/整合/建模步骤与验收口径。
3. 框架化工具链：最小闭环一般需要存储（DB/DW）+ 处理（脚本/调度）+ 校验（DQ 规则）+ 消费（BI/Notebook）。
4. 把“组件”做成可复用模块：命名规范、目录结构、字段字典、转换映射、测试样例、日志与数据血缘。
5. 交付物对齐使用者：为数据科学家/分析师提供可直接消费的表/视图（含口径说明与示例查询）。

一句话总结

这份入门讲义用与软件工程并行的“七问”框架，明确了数据工程的对象（可分析的数据）、目的（赋能分析）、用户（DS/DA/ML 等）、原料（原始数据）以及后续主线（架构与组件），为后续学习“怎么做”搭好了骨架。