参考答案
核对日期:2026-05-13。
1. 阶段练习参考方向
1.1 技术地图练习
合格地图应体现层级关系:
AI
├── 规则系统:固定规则、确定流程
├── ML:从结构化数据中学习预测模式
├── DL:用神经网络学习复杂表示
├── LLM:语言理解、生成、推理和泛化
├── RAG:把外部知识接入 LLM 上下文
└── Agent:在受控循环中调用工具推进目标
关键不是画得漂亮,而是能说明:
- ML 不自动具备开放式语言推理。
- LLM 不自动知道私有知识和最新事实。
- RAG 解决知识接入,不解决权限和行动。
- Agent 解决动态执行,不解决安全和责任边界。
1.2 产品拆解练习
高质量拆解要避免把所有产品都写成“用了大模型”。例如:
| 产品 | 可能技术层 | 是否需要 RAG | 是否需要 Agent | 最大风险 |
|---|---|---|---|---|
| 企业知识库问答 | LLM + RAG | 是 | 通常不需要 | 引用不支持结论、权限泄漏 |
| 代码修复助手 | LLM + 工具 + Agent | 可能 | 复杂任务需要 | 误改代码、测试不足 |
| 智能客服 | RAG + Workflow | 是 | 部分工单可用 | 越权处理、误导用户 |
| 销售预测 | 传统 ML | 否 | 否 | 数据泄漏、指标误用 |
| 会议总结 | LLM 应用 | 否 | 否 | 遗漏关键决策、隐私泄漏 |
1.3 场景选型练习
参考答案不只给路线,还要说明风险:
- 固定金额审批:规则或 Workflow,规则明确且风险高,不应让模型自由判断。
- 企业制度问答:RAG,要求引用制度原文和更新时间。
- 用户流失预测:传统 ML,结构化历史数据足够,LLM 成本和可解释性不占优。
- 代码库 bug 定位:Agent 或 Workflow + 工具,因为需要搜索、读取、运行测试和根据反馈调整。
- 会议纪要总结:LLM 应用,适合生成和压缩,但要标注不确定内容。
- 生产数据库变更:Workflow + 人工审批,必须有权限、审计、回滚。
1.4 反模式改写练习
原句“智能客服 Agent 自动回答和处理所有问题”应改成:
- 只回答:通用 FAQ、流程说明、状态解释。
- 需要 RAG:政策、合同、产品文档、售后规则。
- 进入 Workflow:退款申请、工单创建、信息补全、状态查询。
- 必须人工审批:退款、赔付、账号封禁、合同变更、敏感投诉。
- 不能做:法律承诺、财务承诺、绕过权限查询、替用户执行不可回滚操作。
可执行需求示例:
为售后场景设计一个客服辅助系统。系统先识别问题类型,对制度类问题使用 RAG 给出带引用草稿;对退款类问题进入固定 Workflow 收集订单、金额和原因;超过阈值或证据不足时转人工。系统不得直接完成资金操作。
2. 项目评分样例
高分《AI 场景选型报告》通常具备:
- 至少 3 个真实或拟真业务场景。
- 每个场景都有用户、输入、输出、现有流程和痛点。
- 技术路线能解释为什么不用更复杂方案。
- 风险包含权限、数据、错误成本、延迟和评测。
- 验收方式可执行,例如 50 条样例集、人工审核通过率、错误分类。
不合格表现:
- 所有场景都推荐 Agent。
- 只写“提升效率”,没有指标。
- 没有说明哪些动作不能自动化。
- 没有 baseline 或验收样例。
3. 验收题参考答案
- AI 和自动化的区别是什么?为什么这个区别影响系统设计?
自动化通常按固定规则执行,输入和路径相对确定;AI 引入概率模型处理模糊输入、非结构化内容和开放式生成。系统设计上,自动化更像确定性流程,AI 输出必须增加校验、评测、兜底、人工审批和审计。
- 机器学习和深度学习的关系是什么?深度学习一定更好吗?
深度学习是机器学习的一类方法,使用多层神经网络学习表示。它不一定更好:结构化小数据、强解释要求、低成本预测任务中,线性模型、树模型或规则系统可能更稳、更便宜。
- 为什么 LLM 不等于知识库?
LLM 的参数保存的是训练中学到的统计模式,不是可查询、可更新、可授权的事实库。它可能不知道私有数据、最新政策,也可能编造看似合理的答案。知识库需要数据来源、权限、版本、检索和引用。
- RAG 解决什么问题,不解决什么问题?
RAG 解决外部知识接入和答案可追溯问题。它不自动解决文档质量、权限过滤、召回率、引用真实性、拒答策略和工具执行问题。
- Workflow 和 Agent 的核心差异是什么?
Workflow 的流程由代码预定义,模型只在固定节点完成局部任务;Agent 让模型在受控循环中根据目标、状态和反馈动态选择下一步。路径固定时优先 Workflow,路径不固定且工具反馈重要时才考虑 Agent。
- 什么场景下不应该使用 Agent?
规则清晰、风险高、不可回滚、权限敏感、评测不足、路径固定的场景不适合自主 Agent。例如生产数据库变更、资金操作、账号封禁和合规承诺。
- Prompt 为什么不能替代权限控制?
Prompt 是给模型的行为指令,不是系统安全边界。模型可能被注入、误解或忽略约束。权限必须由后端、工具 schema、访问控制、审批和审计系统执行。
- 一个 AI 系统上线前至少要考虑哪些非模型因素?
数据来源、权限、隐私、评测集、失败样例、成本、延迟、限流、日志、监控、灰度、回滚、人工兜底、供应商风险和用户体验。
- 为什么“模型能回答”不等于“系统能生产使用”?
生产系统要稳定处理长尾输入、错误输入、权限边界、成本、延迟和责任追踪。几个成功回答只证明 demo 可行,不证明可评测、可观测、可治理。
- 如果一个需求路径固定但输入是自然语言,应该如何设计?
优先设计 Workflow:用 LLM 做意图识别、信息抽取或草稿生成,再由代码执行固定流程和校验规则。不要因为输入是自然语言就把流程控制交给 Agent。