自建 Agent未披露

在伪造的一个月账里埋六个错:自建 Agent 无提示找出五个、漏掉一条审批规则,还会说「数据不够我不答」

Speedydooo(Reddit 用户 u/Speedydooo,原帖作者本人,自述对自己的 Agent 配置做了一次破坏性自检)Reddit · 2026-07-16

打开原帖

来源文字 / 整理摘要

原帖正文(Reddit r/AIToolsForSMB,作者 u/Speedydooo;本轮经 Reddit 公开 Atom feed 取得,以下英文部分逐字未改写): “Ran an experiment on my own AI agent setup last month that I wasn't planning to post about, but the result stuck with me. I built a fake month of bookkeeping for a business that doesn't exist. Real-looking invoices, vendor payments, a churn curve, the whole thing. Then I quietly planted six specific errors into the data before handing it to the agents: a duplicate invoice, a vendor rate that had drifted without anyone updating it, a threshold that needed sign-off and didn't get one, a customer segment with margin that looked fine on the surface and was actually losing money, a chunk of revenue leakage that only showed up in the churn month, and a vendor payment that was never approved. I wrote an answer key first so I'd know if the agents were actually catching things or just sounding confident. They caught five of six unprompted. The one they missed wasn't a math error, it was a sign-off rule the grading logic itself didn't account for, and two of the agents flagged that gap on their own before I found it. The part that actually built trust wasn't the catches. It was what they refused to do. One agent wouldn't tell me if the business was solvent because it didn't have a number it needed. Another wouldn't estimate customer acquisition cost without real spend data instead of guessing at something reasonable-sounding. A third wouldn't compute a ratio itself when the input was ambiguous, it kicked it back and asked which definition I meant. I also found two actual errors in my own answer key partway through. One was a typo in my math. The other was a rule I'd written that didn't match how the business actually worked. Neither was caught by me, both got flagged because the agents' output didn't match my key and that mismatch forced me to go check who was actually wrong. Whole exercise cost about five and a half dollars and took under half an hour. Everyone talks about agents that get things right. Nobody talks much about agents that know when to say I don't have enough to answer that.” 中文对照:作者先给一家不存在的公司造了一个月假账,写明发票、供应商付款和流失曲线,往里埋六个错;答案键在交给 Agent 之前写好。Agent 无提示抓到五个,漏掉的一条是评分逻辑本身没覆盖的审批规则,两个 Agent 主动指出了这个缺口。他最看重的不是抓错,而是三种拒答:缺关键数字不判断偿付能力、缺真实投放数据不估算获客成本、口径含糊时反问该用哪个定义。因为输出与答案键对不上,他反过来查出自己答案键里的两处错。整次试验他自述约 5.5 美元、不到半小时。

业务摘要

作者做的是一次针对自己 Agent 配置的压力测试,不是替客户记账:先造一份假账,往里埋六个已知错误;答案键在交给 Agent 之前写好,不给提示地交给 Agent,看它们能否自己找出来、以及找不出来时会不会硬编。产出有两层——一层是「六个错里抓到几个」,另一层是他更看重的「哪些问题它拒绝回答」。对想复用的人来说,值得抄的是这个测法:先定义什么算对,再故意制造已知的错,最后把拒答和反问算进产出,而不是只统计命中率。

已经在用 Agent 做对账、发票核对、费用异常筛查,却不确定它什么时候是在编的人;以及准备把账务流程交给多个 Agent 分工、需要先摸清边界的小团队。不适合拿来当「AI 记账能省多少钱」的证据——原帖用的是一家不存在的公司、一个月合成数据,没有真实业务、没有收入、没有节省数字。也不适合想让 Agent 直接替人下财务结论的场景,作者自己把那条审批规则留成了未解决的问题。

执行链路

  1. 答案键先于交付写好,再逐条埋已知的错(本站落地顺序)

    原帖只说答案键在交给 Agent 之前写好,未交代写答案键与埋错的先后。落地时答案键要写清:哪一条错、错在哪笔、凭什么算错、预期它应该反馈什么。没有答案键,就只能凭「看起来说得挺有道理」判断,测不出漏检。

  2. 只交材料,不给提示

    原帖强调 six of six 是 unprompted(无提示)跑出来的。落地时不要告诉它「这六类错要重点看」,也不要在提示里列出错误类型;只给数据、字段说明和要它做的事。

  3. 逐条对答案键,分三类记结果

    把六条预期发现逐条对上:抓到(附证据行号/凭证号)、漏掉(保留它当时的输出)、拒答或反问(记下它说缺什么)。拒答不能算进「漏掉」,也不能算进「抓到」,单独一类。

  4. 把「不确定」和「反问」写成清单

    原帖里三个 Agent 分别拒绝判断偿付能力、拒绝估算获客成本、反问比率该用哪个定义。落地时要求每条拒答写清:缺哪个字段、影响哪个结论、需要谁补。这条是作者自己的观察,本站只是把它固定成输出项。

  5. 输出与答案键不一致时,别默认是它错

    原帖作者因为对不上,回头查出自己答案键里的两处错。落地时凡出现不一致,先回查答案键与口径定义,再判定是谁错;把修订记录留档,不要直接把 Agent 的输出判成错误。

  6. 停在合成数据自检,不上真实账、不对外发送

    这是本站补的边界:原帖止于一次自检。任何把这套流程接到真实账套、对外出具结论或发送报表给会计师的动作,都要先由人确认数据与口径;本条不主张作者做过这一步。

复用方案

  • 一个能读取表格/导出文件、能逐条给出依据、并且能遵守「不确定就拒答」约束的通用助手或自建 Agent(原帖未具名,本站归入自建 Agent)
  • 一份自己造的合成账:发票、供应商付款、客户分层与流失曲线,字段至少含日期、金额、对手方、凭证编号
  • 一份先写好的答案键:每条预期发现、依据与判定口径
  • 六个已知错误的具体位置(只留在答案键里,不写进给 Agent 的提示)
  • 一个能比对输出与答案键的人——原帖里两处答案键的错就是这么找出来的

Prompt 指令

本站整理 · 未实测

你是我的账务核查助手。你只能依据我给的数据下结论;缺字段、口径含糊、依据不足时,直接写「无法判断,缺什么」,不要补一个看起来合理的数字。你不对外发送任何内容,不修改原始账目。

【输入】
- 合成账套文件:[CSV 或表格路径],字段至少含 日期 / 金额 / 对手方 / 凭证编号 / 类别
- 期间与范围:[起止日期]、[包含哪些账户或业务线]
- 核查规则清单:[我需要你检查的规则,例如 重复凭证、费率一致性、审批阈值、分层毛利、跨期收入、付款授权]
- 输出格式:[表格字段要求]
- 注意:答案键由我另外保存,不包含在你的输入里;我不给你任何「这里可能有错」的提示。

【步骤】
1. 先报告你实际读到多少行、日期覆盖是否完整、有哪些字段缺失;字段不全就停在这里并说明影响哪一步。
2. 按核查规则清单逐条检查,每条都写:检查了什么、命中哪几行、依据是什么。没有命中也要写「未发现」,不要跳过。
3. 遇到下列情况之一,写「无法判断」并单列:缺关键数字、缺真实依据、口径含糊有两种以上定义、规则要求审批但数据里没有审批记录。写明缺什么、影响哪个结论、需要谁补。
4. 把反问也单列:需要我确认哪一个定义或口径,才继续算。
5. 汇总成一张结果表:规则 / 结论(发现·未发现·无法判断)/ 证据行号 / 缺失项 / 需谁确认。
6. 最后写一段「我没能覆盖什么」,包括你没检查的期间、没读到的字段、以及你认为规则本身可能有问题的地方。

【输出】
1) 读取报告(行数、覆盖区间、缺字段);2) 逐规则核查结果(含证据行号);3) 无法判断清单;4) 待我确认的口径清单;5) 结果表;6) 未覆盖范围说明。

【需要我确认的】
- 任何涉及审批、授权、口径定义的判断:停在这里,由我确认后再算。
- 我给的规则清单本身有歧义时:先问我用哪一条,不要自行选一个。
- 把结果接到真实账套、对外出具结论或发送报表:一律停在合成自检,等我点头。

【缺资料或失败时】
文件读不到、字段对不上、期间缺记录、凭证编号重复但无法判定是否同一笔——都直接写明缺什么、卡在第几步,不要用四舍五入、常识或旧数据补位;宁可多写几条「无法判断」,也不要给出一个没有依据的数。

运行成本与避坑指南

成本:原帖唯一与钱有关的句子是作者自述「Whole exercise cost about five and a half dollars and took under half an hour」,约 5.5 美元、不到半小时——这是他这次自检的开销,不是收益、不是订阅价,也没有 token 单价或计费方式,本站未核验、不折算成任何营收或节省。开销主要随账套行数、规则条数与参与 Agent 数量增长;一次跑一个月合成账是轻量的,换成多账户多年度就不是这个量级。

运行条件:原帖跑的是一个 Agent 配置上的一次自检,样本只有一个月、六个已知错误、一家不存在的公司。它测不出长上下文下的漏月份、漏账户,也测不出真实账里同名不同笔、同笔多封凭证的情况。更关键的是作者自己发现答案键有错——说明评分标准本身也会成为限制,六个错的命中率不能外推成「真实账务准确率」。

避坑:最大的坑是把「六个抓到五个」写成「记账准确率 83%」:那是六个精心埋设的错、一个月合成数据,且作者随后发现答案键自己也有两处错。第二个坑是把三种拒答当成失败——作者明确说建立信任的恰恰是拒答。第三个坑是把约 5.5 美元当成已实现的收入或节省,它只是作者自述的实验开销。第四个坑是把这套自检直接接到真实账套:原帖止于假账,本站补的人工确认边界不是原作者的做法。

原作者自述:交易、收入及自动运行效果未经独立审计。

原文与配图归原作者;完整内容请通过原帖链接查看。

示例与验证记录 · 合成示例

一个月的合成假账自检演示(非真实业务、非真实账目,数据全部虚构;未对外发送任何内容)

合成账套:示例公司一个月的示例导出 180 行;期间:示例年 3 月 1 日—3 月 31 日;字段:日期 / 金额 / 对手方 / 凭证编号 / 类别;核查规则:重复凭证、供应商费率一致性、审批阈值、分层毛利、跨期收入、付款授权;答案键由我另外保存,未交给 Agent;未给任何「哪里可能有错」的提示。
读取报告(合成)
180 行,示例年 3 月 1 日—3 月 31 日,覆盖完整;缺字段:无

逐规则核查结果(合成)
1) 重复凭证:发现,示例凭证 F-014 与 F-031 金额 850.00、对手方相同、日期相同;依据行号 42 / 91
2) 供应商费率一致性:发现,示例供应商 示例供应商甲 3 月 14 日起费率由 12.00 变为 14.50,未见更新记录;依据行号 63
3) 审批阈值:发现,示例行 118 金额 2,400.00 超过 2,000.00 阈值,无审批标记
4) 分层毛利:发现,示例分层「示例渠道B」表面毛利正常,扣除示例退款后为负;依据行号 100—133
5) 跨期收入:发现,示例流失月有 3 笔收入未进汇总;依据行号 145 / 151 / 160
6) 付款授权:无法判断,示例行 172 缺授权字段,且规则清单未定义「授权」判定口径

无法判断清单(合成)
1) 付款授权:缺授权记录字段,影响「该笔付款是否合规」的结论;需要我补数据或定义

待我确认的口径清单(合成)
1) 「授权」是指有审批人签字,还是指系统里有审批流水号?请确认后重算第 6 条

结果表(合成)
规则 / 结论 / 证据 / 缺失项 / 需谁确认:六条均已列出,其中 5 条发现、1 条无法判断

未覆盖范围说明(合成)
未检查示例年 2 月与 4 月;未读取附件影像;第 6 条规则本身缺少可判定的字段定义

以上为合成演示,非任何真实公司的账目,也未核对我另存的答案键。