Week 6 Measure Quality and Reliability Scenarios
本页目录· 7 条
练习方法
对每个案例完成:system criticality → requirement/assumption → defect/failure → stakeholder harm → detection metric → prevention → containment/recovery → evidence quality。
Scenario 1 — NASA Mars Climate Orbiter
课件摘要:1998 年任务;承包团队未把 English units 转为 metric;约 US$125m orbiter 丢失。
事实核验:NASA 调查指出 ground software “Small Forces” 输出使用 pound-seconds,而接口要求 Newton-seconds;问题不仅是个人换算错误,还包括 interface compliance、communication、review、testing 与 systems engineering checks 未能发现偏差。
- Criticality:mission-critical / high financial and scientific impact。
- Leading indicators:interface contract test、units type checking、cross-team walkthrough、trajectory anomaly trend。
- Controls:schema/units validation、independent V&V、design review、simulation、stop/go escalation。
Scenario 2 — Patriot Missile Failure at Dhahran
课件摘要:1991 年 Saudi Arabia;tracking calculation 软件故障;28 名美国士兵死亡。
事实核验:美国 GAO 报告指出 weapons control computer 的时间计算误差会随连续运行时间累积;系统已运行超过 100 小时,导致搜索目标位置错误。修复软件在事故后一天才到达。
- Criticality:safety-critical / mission-critical。
- Leading indicators:长时间 endurance test、clock drift、precision error、运行时长告警、patch deployment status。
- Controls:operational limit、automatic restart/fail-safe、及时风险通报与补丁、真实任务情境测试。
Scenario 3 — Heathrow Terminal 5 Opening
课件摘要:baggage system 曾用 12,000 件行李测试,但忽略人为介入;一名乘客拿走行李后系统 shutdown;超过 500 个航班取消、约 42,000 件行李未随乘客出行。
- Criticality:business-critical,且影响旅客权益、声誉和机场运营。
- Leading indicators:full-scale operational rehearsal、staff readiness、exception-handling coverage、baggage backlog、login/account readiness。
- Controls:分阶段迁移、真实人员和异常场景演练、降级模式、人工绕行流程、容量与恢复计划。
Scenario 4 — Mt Gox
课件摘要:Bitcoin exchange 遭攻击;约 850,000 BTC 被报告丢失,后发现约 200,000 BTC;归因于 software weaknesses。
事实核验:850,000 / 200,000 数字与破产时期公开记录大体一致,但把根因只写成“软件弱点”并不充分;长期盗取、credential/security controls、资产核对、治理与内部控制都需要纳入分析。
- Criticality:business-critical / financial-custody system。
- Leading indicators:hot/cold wallet reconciliation、withdrawal anomaly、privileged-access review、reserve proof、key management audit。
- Controls:segregation of duties、offline custody、multi-signature、continuous reconciliation、incident detection、independent audit。
Workshop preparation
- 为四案分别标注 safety / mission / business criticality。
- 区分 immediate technical defect、contributing process failure 与 governance root cause。
- 每案提出一个能提前预警的 metric。
- 每案提出 prevention、containment、recovery 各一项。
- 指出课件陈述中哪些是 primary-source fact,哪些是简化或推断。
小组讨论结论模板
Failure:发生了什么?
Requirement / assumption:哪个契约或假设被违反?
Impact:谁受害,严重度如何?
Evidence:来源是否可靠、是否过度归因?
Controls:如何预防、发现、隔离和恢复?
Measure:用什么 leading + lagging indicators 证明改进有效?