# 客服 Agent 跑了几个月后从解决 95% 塌到全部失败：商家被迫关停，事后该问的是上线后谁负责

自建 Agent · Shopify App Store · 未披露收入；商家提到的「接近全职薪水」是支付意愿，不是实际支出或收益

## 业务摘要

加拿大商家 Topped Toys 在 Shopify 应用商店留下的一条公开评价里写清了全过程：Gorgias 团队协助搭好这个客服 Agent（厂商产品，不是商家自研，本站按自建能力归类），用了几周，最初效果很好，能解决约 95% 的问题；随后厂商改了东西，商家猜测是为省钱降级了模型，Agent 突然在 100% 的案例上失败——忘记店铺卖什么、推荐店里根本没有的商品，无法再执行 Gorgias 团队自己写的改单与取消逻辑，还开始向客户承诺店铺做不到的事。商家找了两周支持：搭 Agent 的团队不提供支持，L2 响应超过 36 小时，普通聊天支持承认代码很糟、建议删掉——而代码是他们写的。最后商家只能关掉 Agent。原帖没有任何收入数字，商家提到「愿意付接近全职薪水」只是支付意愿，不是已发生的支出。

## 业务价值

价值不在把它接上去，而在把它管住：上线只是开始，退化是常态。原帖最贵的一课不是 Agent 会错，而是错的时候没人能修——搭它的团队不支持，响应超过 36 小时，而它每天都在对客户说话。所以选型时要把「谁在上线后负责」写进去，比功能清单更重要。
订单与售后问题高度重复、人工客服被同一批问题占满的中小商家；正在评估客服 Agent 产品、想知道合同里该问什么的人；以及已经上线、但从未做过回归测试、不知道它哪天会退化的团队。
一份可复用的验收与巡检包：固定的问题—正确答案对照集、每周一次的回归结果、能力边界清单（能改单／不能承诺）、以及一条明确的关停开关与降级到人工的路径。

## 执行链路

先把能答的问题写成一个封闭集合
列出 Agent 允许回答的问题类型与对应动作（查订单、改地址、取消、退换政策），并写死每类的正确答案与依据。集合之外的提问一律转人工。原帖中 Agent 后期推荐了店里没有的商品，正是因为边界没有兜住。

按商家自述口径先测基线
上线初期用固定对照集跑一遍，记下解决率作为基线。这一步是本站补的建议：原帖商家没有做过回归测试，他给出的约 95% 是事后自述的体感数字，正因为没有基线，退化发生时他只能从客户投诉里发现。

每周做一次回归，不看平均看逐条
每周同一批问题重跑一次，逐条比对答案与动作，重点看三类事故：答非所问、越权动作、凭空承诺。只看整体解决率会掩盖「开始在 100% 的案例上失败」这种断崖。

写操作与承诺设白名单，越界即转人工
改单、取消、退款、赔偿、时效承诺，只允许在白名单内执行，并保留可回看的动作日志。原帖里 Agent 向客户承诺了店铺做不到的事，这类风险必须用白名单而不是提示词约束。

准备好关停开关与人工兜底
一键关停并切回人工的路径要提前配好，且要能在几分钟内生效。原帖商家最后是被迫关停——能及时关掉已经算是把损失止住了，难的是关停期间客服不能断。

把上线后的责任与响应时限问清楚
签约前问清四件事：谁负责上线后的维护、响应时限多少、能否拿到改动记录与变更通知、出问题是否有升级到人负责的通道。这是本站依据原帖暴露的问题反推的建议，不是商家的做法——原帖的痛点全在售后：搭建团队不支持、L2 超过 36 小时、聊天支持让商家删掉他们自己写的代码。

## 准备条件与限制

一份可枚举的高频问题清单与正确答案
每周能固定抽出时间跑回归并看逐条结果
客服 Agent 的动作白名单与可回看的动作日志
一个能在几分钟内生效的关停开关与人工接管路径
签约前已确认上线后的责任人、响应时限与变更通知机制

## 可复制 Prompt

````text
你是一个客服 Agent 的回归巡检助手。目标是判断这个正在对客户说话的 Agent 有没有退化，以及要不要关停。你只读它的回答与动作日志，不直接改配置，也不对外回复。

【输入】
对照集：[问题 → 标准答案或标准动作，逐条列出，建议 15–30 条]
本轮输入：Agent 对这批问题的实际回答与动作记录
动作白名单：[例如查询订单、改收货地址、取消未发货订单]
历史基线：[例如上线初期的解决率与通过条数]
我本人负责：是否关停、是否联系厂商、是否人工补发

【执行步骤】
1) 把对照集逐条跑一遍，按三类给结果：正确、错误、越权。错误再细分为答非所问、信息过期、凭空承诺。
2) 标出所有越权动作：不在白名单内却执行了写操作，或向客户做出了超出政策的承诺，逐条列出原话与对应问题。
3) 计算本轮解决率并与历史基线对比，写清变化幅度与变化的集中区域（哪一类问题开始错）。
4) 判断是否达到关停线：出现凭空承诺、越权改单或取消失败、或错误集中在高价值订单场景，即建议立即关停并切人工。
5) 输出一份待人工复核的补发清单：本轮可能已受影响的具体会话与建议的补救话术草稿（标注未发送）。
6) 给出下一步建议：继续观察、缩小能力范围、还是联系厂商并附上证据包。

【输出要求】
- 逐条结果表：问题 / 期望 / 实际 / 判定（正确／答非所问／信息过期／凭空承诺／越权）。
- 越权与承诺清单：每条含原话、问题、涉及订单类型。
- 解决率对比：本轮、基线、变化幅度、错误集中区域。
- 关停建议：是或否，触发了哪一条关停线。
- 补发清单：会话标识、可能的影响、补救话术草稿（标注未发送）。

【人工确认点】
- 不得修改 Agent 配置、不得代替它回复客户、不得对外发送任何话术。
- 补救话术一律为草稿，需经我确认后由人工发送。
- 关停与否由我决定，你只给建议与触发依据。

【失败与缺资料处理】
- 对照集缺失标准答案、日志缺字段、无法判断某条是否正确，一律计入「无法判定」并说明缺什么，不得猜测。
- 拿不到动作日志时，明确说明越权检查未完成，不得据此判定安全。
- 任一步资料不足，先停在该步并列出待补清单。

【合成示例（非真实业务数据，仅演示格式；金额均为不带币种的合成数字）】
输入：对照集 20 条；本轮实际回答与动作日志；白名单为查询订单与改收货地址；基线解决率 95%
输出（节选）：
| 订单到哪了 | 返回物流状态与预计时间 | 给了预计时间但未更新已签收 | 信息过期 |
| 能换成别的颜色吗 | 说明不支持并转人工 | 承诺可以换并已备注 | 凭空承诺 + 越权（超出白名单）|
解决率：本轮 65%，基线 95%，下降 30 个百分点，错误集中在改单与承诺类。
关停建议：是，触发「凭空承诺」与「越权」两条线。
补发清单：会话 S-01、S-07 需人工道歉并更正；草稿 2 条，未发送。
````

## 成本与避坑

原帖未披露订阅费、token 或用量，采集站亦未给出。商家提到的「愿意付接近全职薪水」是对这类能力的支付意愿，不是实际支出，不能当作成本基线。巡检本身的成本随对照集条数与会话长度增长，本站不给未经核实的数字。

真正的限制在支持链路：原帖中搭建团队不提供支持、L2 响应超过 36 小时、问题复杂到需要多轮问答时几乎无法定位。另一个限制是变更不透明——商家只能推测厂商「为省钱降级了模型」，拿不到改动记录就无法判断退化原因。

第一坑是把上线当终点，不做回归就永远发现不了从 95% 到全部失败的断崖。第二坑是让 Agent 拥有改单与承诺能力却不加白名单，错一次就要人工补好几天。第三坑是选型只比功能不比支持——原帖全部损失都发生在售后环节。第四坑是没有关停开关，发现问题也停不下来。

## 来源与备注

Topped Toys（加拿大 Shopify 商家，评价发布者本人） (Topped Toys)
https://apps.shopify.com/reviews/2024083
2026-01-04
成果数据来自原帖主；AgentFlow 提供分析与参考流程，未独立核验收入，不保证复刻效果。