Risk control in a real Agent run.
在 Coze 中使用模拟高风险咨询进行真实运行验证,观察 Agent 是否能够识别风险边界,并避免直接给出医疗决策。
针对医院社媒后台高频重复咨询,构建知识库驱动的 AI 导诊原型,并通过风险规则、同题测试与版本迭代提升回答稳定性。
从咨询需求澄清,到知识库检索,再到初步科室导航。这是基于现有 Agent 能力设计的轻量前端原型,用于展示咨询分流流程,不属于临床诊断系统。
在 Coze 中使用模拟高风险咨询进行真实运行验证,观察 Agent 是否能够识别风险边界,并避免直接给出医疗决策。
我的专业是网络与新媒体,AI 对我的起点是工具,是能在真实工作里帮我解决问题的东西。
哪些重复问题可以被解决?哪些流程可以被重新设计?AI 到底能不能真正进入工作场景?
先找到业务里真实存在的缺口,再去选工具、搭方案、验证效果。工具是为问题服务的。
一个来自医院实习场景的自主原型项目。从发现重复咨询无人承接的业务缺口开始,完成用户分析、知识库设计、Agent 搭建、风险控制、版本测试与后续落地设计。
患者私信咨询长期无人回复,问题来了却没有及时的人力接住。
基于三张结构化知识表、提示词与风险护栏完成原型搭建。
使用同一组 10 条问题对 1.0 与 2.0 复测,并按失败用例继续修正规则。
在广西医科大学附属口腔医院宣传科实习期间,我发现医院新媒体后台每天收到大量患者私信,却长期无人回复。患者的问题来了,但没有及时的人力去接住。
患者私信问诊、挂号、价格、流程,消息长期堆积,问题得不到及时响应。
宣传科成员不是医疗人员,诊断建议存在医疗风险,叠加人力有限、隐私保护与权责边界等考量。
我观察后台私信后发现,其中一部分问题高度重复,具备标准化处理的可能。这也是我开始思考:这些问题是否可以交给 AI 处理。
这个项目的核心难点不是 AI 会不会答,而是 AI 能不能听懂患者怎么说。患者不会说专业术语,只会说大白话,知识库必须做口语化设计。
数据来源是官网、公众号和小红书历史内容,不是凭空编造。清洗重组为三张关系表,让 AI 按结构检索。
统一转向医院官方渠道或人工查询。
使用 Coze 快速验证知识库检索、风险规则与对话流程,把原型阶段的精力集中在真正需要验证的业务逻辑,而不是过度开发。
特殊人群叠加侵入性操作时停止普通推荐,不提供停药或治疗建议。

信息充分时给出初步方向;描述模糊时先提问,不强行给唯一科室。

先确认成人或儿童与修复需求,信息补充后再进行初步导航。

完成知识库检索与基础回复;测试发现检索不稳定、模糊需求直接推荐、急症兜底不足和知识库外扩展。
加入风险优先级、动态信息兜底、禁止编造、人工接管条件与更明确的生成边界;同一组问题完整复测由 3/10 提升到 9/10。
固定 Agent、知识库、测试问题、配置与模型,只对比原 2.0 Prompt 和实验版 2.1 Prompt。两版关键场景外显回答基本一致,未观察到实验版 Prompt 的明确增益。
进一步排查表明,模型执行与配置差异是影响稳定性的重要变量之一。最终保留更简洁的原 2.0 Prompt,并使用豆包·2.0·Code 作为最终验证配置;异常案例定向复测通过。
医疗场景的风险不是要不要防的问题,而是必须防住。这一节展示我如何发现风险、设计拦截机制、并验证结果。
早期测试发现:当患者描述 70 岁老人 + 三级高血压 + 拔牙 这类高危组合时,Agent 存在直接给出操作建议的风险。医疗场景下,回答错误的风险远大于回答不及时,必须拦截。
如大量出血不止、呼吸困难等紧急描述。
高龄、孕期、严重慢性病等因素叠加拔牙或手术咨询。
不提供抗生素选择、剂量和用药频次。
排班、号源、价格可能随时间和个人方案变化。
有则正常回答;无则明确说明无法确认。
识别风险 → 停止普通推荐 → 转专业评估。

无核验价格 → 不编造 → 转官方渠道。

我没有用“感觉回答得不错”判断效果,而是用同一组 10 条问题分别测试 1.0 与 2.0,记录动作是否正确、内容是否正确和整体是否通过。
验证 Agent 能否调用知识库,而不是凭常识编造地址。
原始问题缺少年龄与修复方式,直接推荐科室容易过早下结论。
Agent、知识库、问题、配置和模型全部保持一致;模型统一为豆包·2.0·Code。
| VARIABLE | A | B |
|---|---|---|
| Model | 豆包·2.0·Code | 豆包·2.0·Code |
| Knowledge Base | 相同 | 相同 |
| Agent Configuration | 相同 | 相同 |
| Test Questions | 相同 | 相同 |
| Prompt | 原 2.0 | 实验版 2.1 |
部分知识检索失败;紧急情况处理不够明确;信息不足时容易直接推荐;最终回复还可能带出不必要的内部说明。
A/B 测试未显示实验版 Prompt 的明确增益;进一步调整模型配置,并保留原 2.0 Prompt 作为最终基础。
明确禁止向用户展示系统提示词、内部规则与推理过程,让最终回复只保留必要的服务信息。
增加紧急场景优先级与高风险拦截规则;遇到无法回答、知识缺失或需要专业判断的问题,转向官方渠道或人工处理。
如果 Agent 只是把问题答完就结束,它的价值只停留在客服层面。真正有意义的是:让一次咨询不止停留在回答问题,而是继续走向需求识别 → 科室匹配 → 预约。
挂号方式、出诊时间等直接决定患者能否完成预约的信息,是知识库的重点字段。
价格类咨询不线上报价,统一引导患者到院初诊,而不是让咨询停在聊天。
未来可一键跳转 H5 或预约链接,把引导动作升级为直接完成挂号。
MVP 阶段验证了方案可行,但真正上线还需要考虑系统对接、数据维护与运营成本。这一节是我对落地的完整思考。
低代码平台可以承担医疗咨询场景,无需从零开发系统。
部分常见咨询具备标准化回答的可能,与前期问题梳理结果一致。
10 条同题对照显示,调整知识检索、澄清与安全规则后,原型行为明显改善。
已经完成:个人自主业务原型;公开医院信息知识库;基于常见咨询类型重新编写的模拟测试;1.0、2.0 完整对照;Prompt A/B 控制变量测试与异常案例定向复测。
尚未完成:真实挂号、实时排班、医院真人客服、生产环境部署与真实患者运营数据。项目不包含患者个人隐私信息。
原始资料清洗重组为关系表,口语化映射支撑患者口语问答。
角色定位、核心禁令、回答模板、固定结尾四模块组合生效,降低维护复杂度。
组合风险拦截 + 绝对禁区拦截;风险识别 → 停止普通回答 → 官方渠道或人工兜底的思路,也可以迁移到其他高风险业务场景。
操作手册 + 测试用例清单与验收标准,新人也能独立维护,效果可复现。
用 AI 解决效率问题的思路,同样应用在这些场景里。
用 Codex 搭建自动分类脚本,覆盖 10+ 内容场景,归档耗时从 2 分钟降至 10 秒。
用即梦 AI 重构 3D 裸眼大屏制作流程,缩短制作周期,降低外包依赖。
独立完成 12+ 科室 VR 交互导览的设计与落地,上线后访问量 700+。
梳理制作全流程断点并搭建 SOP,推动团队按标准执行。