那门拒绝通过的 ISO 42001 课程
一篇关于虚假自信、审计盲点以及检测与现实之间差异的技术复盘。这里涉及一些人工智能，但这不是一个关于人工智能的故事。这是一个戴着合规帽子的可观测性故事。
那个并非漏洞的漏洞报告
事情的开端总是如出一辙：出现了一个不符合我们自我叙述的结果。
我们运营着一个平台，用于生成结构化的合规培训课程——包括课程、评估以及认证机构为支持某项资质所需的全部体系。其中一门课程是 ISO 42001 主任审核员 课程（ISO 42001 是人工智能管理体系标准）。该课程在我们称为标准族一致性的标准上持续未能通过内部质量检查：大致意思是，“这些材料是否在谈论其声称要教授的标准，而不是悄悄地偏离到另一个标准？”
好吧。质量保证检查失败不过是寻常小事。我们做了一些显而易见的操作：
- 重新运行生成器。
- 收紧提示词。
- 添加了明确的“不要引用其他 ISO 标准作为 governing（管辖/主导）依据”的指令。
- 重新运行审计。
- 看着它再次失败。
- 质疑我们的人生选择。
- 重复上述步骤。
该课程计划持续失败。并非严重失败——它并没有产生无意义的内容。它会在一本应关于人工智能管理（ISO 42001）的课程中，微妙地围绕环境管理控制（ISO 14001）来构建作业。一位审阅者将其中一份草稿描述为“绿色科技能源公司正在做人工智能治理”，这听起来很有趣，直到你意识到学习者即将根据错误的标准接受评估。
我们花了令人尴尬的大量时间，坚信是该课程计划本身出现了独特的问题。突破点在于一个我们在第一天就该问的问题：
我们不再问“为什么这门课程计划失败了？”，而是开始问“为什么**其他所有东西*都通过了？”*
这种视角的转换就是整篇文章的核心。下文详述了我们认真对待这一问题后发生的情况。
架构地图
当你怀疑某个部件出错时，你会调试该部件。当你怀疑自己对出错的定义有误时，你就必须绘制系统地图。因此，我们绘制了实际的生成拓扑结构，而不是我们脑海中的那个。
我们原本预计大概有六七个“生成器”。结果我们发现存在 22 条不同的生成路径，每一条都能生成面向学习者的内容，每一条都有各自的提示词组装方式、各自的上下文，以及——关键在于——各自与我们的治理规则之间的关系（或无关系）：
1 蓝图 8 应用练习 15 评分细则生成
2 大纲/优化 9 综合项目 16 智能热点
3 课程生成 10 模块考试 17 封面图片
4 课时生成 11 期末考试 18 场景生成
5 课时重新生成 12 课程最终评估 19 能力映射
6 课时测验 13 作业简报 20 标准族常见问题解答
7 诊断测试 14 作业重新生成 21 评估解释器
22 题库重新生成
没有人设计过这 22 条路径。这正是问题所在。它们是逐渐累积形成的。版本 1 只有课时和测验。后来有人添加了诊断测试。接着又添加了综合项目，因为资质认证需要总结性评估。随后又增加了作业简报和评分细则，因为认证机构希望看到分级作业。再后来增加了重新生成的端点，因为
免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
