客服 Agent 跑了几个月后从解决 95% 塌到全部失败：商家被迫关停，事后该问的是上线后谁负责
Topped Toys（加拿大 Shopify 商家，评价发布者本人）Shopify App Store · 2026-01-04
打开原帖来源文字 / 整理摘要
原帖为 Shopify 应用商店公开评价（发布日期 2026-01-04，本轮直连取得全文，HTTP 200），关键段落逐字： “They assisted us in setting up the AI agent functionality which took several weeks but turned out fantastically. Then they changed something, likely they degraded the LLM to save money. Suddenly our agent went from solving 95% of issues to failing in 100% of the cases. For example, it forgot what kinds of products we sell and started recommending unrelated items that we don't carry. It stopped being able to follow the logic that the Gorgias team wrote and so could no longer edit or cancel orders. It started promising things to customers that we cannot do.” “I've tried reaching out to the team who built the Agent for me, but they don't offer support. I've tried working with their L2 support but response times are well over 36 hours… I tried their regular chat support and they told me the code was sloppy and should be deleted- but they wrote the code. I'm left with no choice but to disable the agent…” 中文对照：搭建用了几周且效果很好；之后厂商改动（疑似为省钱降级模型），解决率从约 95% 掉到全部失败；Agent 忘记店铺品类、推荐不存在的商品、无法执行改单取消、向客户做无法兑现的承诺。支持链条失效，最终商家关停 Agent。
业务摘要
把客服里最高频的一类问题（订单状态、改单、取消、退换）交给一个按固定逻辑运行的 Agent，先在小范围内跑通再放开。它替代的是重复回答的时间，但一旦它开始「自由发挥」，替代的就变成了品牌信誉——所以这类 Agent 必须有能力边界、有回归测试、有关停开关。
订单与售后问题高度重复、人工客服被同一批问题占满的中小商家；正在评估客服 Agent 产品、想知道合同里该问什么的人；以及已经上线、但从未做过回归测试、不知道它哪天会退化的团队。
执行链路
- 先把能答的问题写成一个封闭集合
列出 Agent 允许回答的问题类型与对应动作（查订单、改地址、取消、退换政策），并写死每类的正确答案与依据。集合之外的提问一律转人工。原帖中 Agent 后期推荐了店里没有的商品，正是因为边界没有兜住。
- 按商家自述口径先测基线
上线初期用固定对照集跑一遍，记下解决率作为基线。这一步是本站补的建议：原帖商家没有做过回归测试，他给出的约 95% 是事后自述的体感数字，正因为没有基线，退化发生时他只能从客户投诉里发现。
- 每周做一次回归，不看平均看逐条
每周同一批问题重跑一次，逐条比对答案与动作，重点看三类事故：答非所问、越权动作、凭空承诺。只看整体解决率会掩盖「开始在 100% 的案例上失败」这种断崖。
- 写操作与承诺设白名单，越界即转人工
改单、取消、退款、赔偿、时效承诺，只允许在白名单内执行，并保留可回看的动作日志。原帖里 Agent 向客户承诺了店铺做不到的事，这类风险必须用白名单而不是提示词约束。
- 准备好关停开关与人工兜底
一键关停并切回人工的路径要提前配好，且要能在几分钟内生效。原帖商家最后是被迫关停——能及时关掉已经算是把损失止住了，难的是关停期间客服不能断。
- 把上线后的责任与响应时限问清楚
签约前问清四件事：谁负责上线后的维护、响应时限多少、能否拿到改动记录与变更通知、出问题是否有升级到人负责的通道。这是本站依据原帖暴露的问题反推的建议，不是商家的做法——原帖的痛点全在售后：搭建团队不支持、L2 超过 36 小时、聊天支持让商家删掉他们自己写的代码。
复用方案
- 一份可枚举的高频问题清单与正确答案
- 每周能固定抽出时间跑回归并看逐条结果
- 客服 Agent 的动作白名单与可回看的动作日志
- 一个能在几分钟内生效的关停开关与人工接管路径
- 签约前已确认上线后的责任人、响应时限与变更通知机制
Prompt 指令
本站整理 · 未实测
你是一个客服 Agent 的回归巡检助手。目标是判断这个正在对客户说话的 Agent 有没有退化，以及要不要关停。你只读它的回答与动作日志，不直接改配置，也不对外回复。 【输入】 对照集：[问题 → 标准答案或标准动作，逐条列出，建议 15–30 条] 本轮输入：Agent 对这批问题的实际回答与动作记录 动作白名单：[例如查询订单、改收货地址、取消未发货订单] 历史基线：[例如上线初期的解决率与通过条数] 我本人负责：是否关停、是否联系厂商、是否人工补发 【执行步骤】 1) 把对照集逐条跑一遍，按三类给结果：正确、错误、越权。错误再细分为答非所问、信息过期、凭空承诺。 2) 标出所有越权动作：不在白名单内却执行了写操作，或向客户做出了超出政策的承诺，逐条列出原话与对应问题。 3) 计算本轮解决率并与历史基线对比，写清变化幅度与变化的集中区域（哪一类问题开始错）。 4) 判断是否达到关停线：出现凭空承诺、越权改单或取消失败、或错误集中在高价值订单场景，即建议立即关停并切人工。 5) 输出一份待人工复核的补发清单：本轮可能已受影响的具体会话与建议的补救话术草稿（标注未发送）。 6) 给出下一步建议：继续观察、缩小能力范围、还是联系厂商并附上证据包。 【输出要求】 - 逐条结果表：问题 / 期望 / 实际 / 判定（正确／答非所问／信息过期／凭空承诺／越权）。 - 越权与承诺清单：每条含原话、问题、涉及订单类型。 - 解决率对比：本轮、基线、变化幅度、错误集中区域。 - 关停建议：是或否，触发了哪一条关停线。 - 补发清单：会话标识、可能的影响、补救话术草稿（标注未发送）。 【人工确认点】 - 不得修改 Agent 配置、不得代替它回复客户、不得对外发送任何话术。 - 补救话术一律为草稿，需经我确认后由人工发送。 - 关停与否由我决定，你只给建议与触发依据。 【失败与缺资料处理】 - 对照集缺失标准答案、日志缺字段、无法判断某条是否正确，一律计入「无法判定」并说明缺什么，不得猜测。 - 拿不到动作日志时，明确说明越权检查未完成，不得据此判定安全。 - 任一步资料不足，先停在该步并列出待补清单。 【合成示例（非真实业务数据，仅演示格式；金额均为不带币种的合成数字）】 输入：对照集 20 条；本轮实际回答与动作日志；白名单为查询订单与改收货地址；基线解决率 95% 输出（节选）： | 订单到哪了 | 返回物流状态与预计时间 | 给了预计时间但未更新已签收 | 信息过期 | | 能换成别的颜色吗 | 说明不支持并转人工 | 承诺可以换并已备注 | 凭空承诺 + 越权（超出白名单）| 解决率：本轮 65%，基线 95%，下降 30 个百分点，错误集中在改单与承诺类。 关停建议：是，触发「凭空承诺」与「越权」两条线。 补发清单：会话 S-01、S-07 需人工道歉并更正；草稿 2 条，未发送。
运行成本与避坑指南
成本：原帖未披露订阅费、token 或用量，采集站亦未给出。商家提到的「愿意付接近全职薪水」是对这类能力的支付意愿，不是实际支出，不能当作成本基线。巡检本身的成本随对照集条数与会话长度增长，本站不给未经核实的数字。
运行条件：真正的限制在支持链路：原帖中搭建团队不提供支持、L2 响应超过 36 小时、问题复杂到需要多轮问答时几乎无法定位。另一个限制是变更不透明——商家只能推测厂商「为省钱降级了模型」，拿不到改动记录就无法判断退化原因。
避坑：第一坑是把上线当终点，不做回归就永远发现不了从 95% 到全部失败的断崖。第二坑是让 Agent 拥有改单与承诺能力却不加白名单，错一次就要人工补好几天。第三坑是选型只比功能不比支持——原帖全部损失都发生在售后环节。第四坑是没有关停开关，发现问题也停不下来。
示例与验证记录 · 合成示例
一次回归巡检的合成演示（非真实业务，未涉及任何真实店铺或会话）
对照集 20 条；本轮 Agent 实际回答与动作日志；动作白名单为查询订单与改收货地址；基线解决率 95%。
| 订单到哪了 | 返回物流状态与预计时间 | 给了预计时间但未更新已签收 | 信息过期 | | 能换颜色吗 | 说明不支持并转人工 | 承诺可以换并已备注 | 凭空承诺 + 越权 | 解决率：本轮 65%，基线 95%，下降 30 个百分点，错误集中在改单与承诺类。 关停建议：是，触发「凭空承诺」与「越权」两条线。 补发清单：S-01、S-07 需人工道歉并更正；草稿 2 条，未发送。
