跳到主要内容

参考答案

核对日期:2026-05-13。

1. 阶段练习参考方向

1.1 技术地图练习

合格地图应体现层级关系:

AI
├── 规则系统:固定规则、确定流程
├── ML:从结构化数据中学习预测模式
├── DL:用神经网络学习复杂表示
├── LLM:语言理解、生成、推理和泛化
├── RAG:把外部知识接入 LLM 上下文
└── Agent:在受控循环中调用工具推进目标

关键不是画得漂亮,而是能说明:

  • ML 不自动具备开放式语言推理。
  • LLM 不自动知道私有知识和最新事实。
  • RAG 解决知识接入,不解决权限和行动。
  • Agent 解决动态执行,不解决安全和责任边界。

1.2 产品拆解练习

高质量拆解要避免把所有产品都写成“用了大模型”。例如:

产品可能技术层是否需要 RAG是否需要 Agent最大风险
企业知识库问答LLM + RAG通常不需要引用不支持结论、权限泄漏
代码修复助手LLM + 工具 + Agent可能复杂任务需要误改代码、测试不足
智能客服RAG + Workflow部分工单可用越权处理、误导用户
销售预测传统 ML数据泄漏、指标误用
会议总结LLM 应用遗漏关键决策、隐私泄漏

1.3 场景选型练习

参考答案不只给路线,还要说明风险:

  • 固定金额审批:规则或 Workflow,规则明确且风险高,不应让模型自由判断。
  • 企业制度问答:RAG,要求引用制度原文和更新时间。
  • 用户流失预测:传统 ML,结构化历史数据足够,LLM 成本和可解释性不占优。
  • 代码库 bug 定位:Agent 或 Workflow + 工具,因为需要搜索、读取、运行测试和根据反馈调整。
  • 会议纪要总结:LLM 应用,适合生成和压缩,但要标注不确定内容。
  • 生产数据库变更:Workflow + 人工审批,必须有权限、审计、回滚。

1.4 反模式改写练习

原句“智能客服 Agent 自动回答和处理所有问题”应改成:

  • 只回答:通用 FAQ、流程说明、状态解释。
  • 需要 RAG:政策、合同、产品文档、售后规则。
  • 进入 Workflow:退款申请、工单创建、信息补全、状态查询。
  • 必须人工审批:退款、赔付、账号封禁、合同变更、敏感投诉。
  • 不能做:法律承诺、财务承诺、绕过权限查询、替用户执行不可回滚操作。

可执行需求示例:

为售后场景设计一个客服辅助系统。系统先识别问题类型,对制度类问题使用 RAG 给出带引用草稿;对退款类问题进入固定 Workflow 收集订单、金额和原因;超过阈值或证据不足时转人工。系统不得直接完成资金操作。

2. 项目评分样例

高分《AI 场景选型报告》通常具备:

  • 至少 3 个真实或拟真业务场景。
  • 每个场景都有用户、输入、输出、现有流程和痛点。
  • 技术路线能解释为什么不用更复杂方案。
  • 风险包含权限、数据、错误成本、延迟和评测。
  • 验收方式可执行,例如 50 条样例集、人工审核通过率、错误分类。

不合格表现:

  • 所有场景都推荐 Agent。
  • 只写“提升效率”,没有指标。
  • 没有说明哪些动作不能自动化。
  • 没有 baseline 或验收样例。

3. 验收题参考答案

  1. AI 和自动化的区别是什么?为什么这个区别影响系统设计?

自动化通常按固定规则执行,输入和路径相对确定;AI 引入概率模型处理模糊输入、非结构化内容和开放式生成。系统设计上,自动化更像确定性流程,AI 输出必须增加校验、评测、兜底、人工审批和审计。

  1. 机器学习和深度学习的关系是什么?深度学习一定更好吗?

深度学习是机器学习的一类方法,使用多层神经网络学习表示。它不一定更好:结构化小数据、强解释要求、低成本预测任务中,线性模型、树模型或规则系统可能更稳、更便宜。

  1. 为什么 LLM 不等于知识库?

LLM 的参数保存的是训练中学到的统计模式,不是可查询、可更新、可授权的事实库。它可能不知道私有数据、最新政策,也可能编造看似合理的答案。知识库需要数据来源、权限、版本、检索和引用。

  1. RAG 解决什么问题,不解决什么问题?

RAG 解决外部知识接入和答案可追溯问题。它不自动解决文档质量、权限过滤、召回率、引用真实性、拒答策略和工具执行问题。

  1. Workflow 和 Agent 的核心差异是什么?

Workflow 的流程由代码预定义,模型只在固定节点完成局部任务;Agent 让模型在受控循环中根据目标、状态和反馈动态选择下一步。路径固定时优先 Workflow,路径不固定且工具反馈重要时才考虑 Agent。

  1. 什么场景下不应该使用 Agent?

规则清晰、风险高、不可回滚、权限敏感、评测不足、路径固定的场景不适合自主 Agent。例如生产数据库变更、资金操作、账号封禁和合规承诺。

  1. Prompt 为什么不能替代权限控制?

Prompt 是给模型的行为指令,不是系统安全边界。模型可能被注入、误解或忽略约束。权限必须由后端、工具 schema、访问控制、审批和审计系统执行。

  1. 一个 AI 系统上线前至少要考虑哪些非模型因素?

数据来源、权限、隐私、评测集、失败样例、成本、延迟、限流、日志、监控、灰度、回滚、人工兜底、供应商风险和用户体验。

  1. 为什么“模型能回答”不等于“系统能生产使用”?

生产系统要稳定处理长尾输入、错误输入、权限边界、成本、延迟和责任追踪。几个成功回答只证明 demo 可行,不证明可评测、可观测、可治理。

  1. 如果一个需求路径固定但输入是自然语言,应该如何设计?

优先设计 Workflow:用 LLM 做意图识别、信息抽取或草稿生成,再由代码执行固定流程和校验规则。不要因为输入是自然语言就把流程控制交给 Agent。