AI Product Growth 101｜08｜Operating Metrics：同时衡量结果、信任与经济性
AI 产品最容易增长的指标，往往是调用量。
加一个自动重试，调用量会上升。
把任务拆成更多模型步骤，调用量会上升。
免费额度放宽，调用量也会上升。
这些变化可能让成本增加，却不一定让用户多获得一个结果。
所以 AI 产品不能把 Tokens、会话数和生成次数当作北极星指标。
它们是系统活动，不是用户价值。
NIST 的 AI 风险管理框架把工作分成 Govern、Map、Measure、Manage 四类，并明确要求系统在部署前测试、运行中持续监控。它没有给所有产品一张万能指标表，反而要求测量方法贴近具体部署环境，结合定量、定性和混合方法。这个原则同样适用于产品经营：指标不是越统一越专业，越能解释特定工作流里的结果、风险和成本才越有用。
三张同时看的表
一套实用的 AI 产品仪表盘，至少要同时覆盖三层：Outcome、Trust 和 Economics。
Outcome：任务有没有完成
这一层回答产品是否创造价值。
核心指标可以包括：
- Task Completion Rate：任务完成率。
- Accepted Outcome Rate：结果接受率。
- Time to Accepted Outcome：从开始到接受结果的时间。
- Correction Cost：用户检查和修改结果的成本。
- Repeat Workflow Rate：同类工作流被重复使用的比例。
其中最值得关注的是结果接受率。
它把模型输出和用户行为连接起来。
但接受不一定等于正确。用户可能没有认真检查，也可能在低风险场景下容忍错误。所以 Outcome 指标还要和质量抽检结合。
Trust：用户敢不敢继续委托
信任很难用一句满意度问题衡量。
更可靠的是观察用户怎样配置控制权：
- 有多少任务从草稿模式进入确认后执行。
- 有多少工作流进入有限自动化。
- 用户多久会暂停、撤销或回滚一次动作。
- 高风险步骤的人工接管率。
- 结果来源和操作记录的查看频率。
- 严重错误与权限越界事件。
信任不是用户“喜欢 AI”。
信任是用户知道系统边界，并愿意在这个边界内扩大授权。
Economics：每个有效结果是否可持续
这一层回答增长是否健康。
核心指标可以包括：
- Cost per Accepted Outcome。
- 每类工作流的模型、工具和人工成本。
- 推理成本占收入的比例。
- 毛利率及其随使用深度的变化。
- 重试和失败运行造成的浪费。
- 不同模型路由带来的质量和成本差异。
平均成本经常会掩盖问题。
应该按客户、工作流和任务复杂度分层。某一类任务可能贡献了大部分收入，也吞掉了全部毛利。
一个三角约束
可以把 AI 产品经营看成一个三角：
Outcome × Trust × Economics
结果好，但用户不信任，委托深度上不去。
用户愿意用，但每个结果都亏钱，增长不可持续。
成本很低，但结果经常被丢弃，只是在便宜地制造垃圾。
三条边需要一起改善。
这也是为什么单独追求更大的模型、更低的 Token 单价或更高的会话数，都可能把团队带偏。
按工作流建仪表盘
不要只做一张全产品平均表。
“生成营销文案”和“自动处理退款”风险、频率、价值和成本完全不同。
每条核心工作流都应该有自己的最小仪表盘：
- 进入了多少真实任务。
- 完成了多少。
- 用户接受了多少。
- 修改和审查花了多久。
- 发生了哪些严重失败。
- 用户交出了多少控制权。
- 每个被接受结果花了多少钱。
这样团队才能判断应该优化模型、上下文、交互、流程还是价格。
指标要能触发动作
一张每周更新却不会改变决策的仪表盘，只是装饰。
给关键指标绑定动作阈值。
严重错误超过阈值，自动降级到草稿模式。
某类任务修正成本持续升高，进入失败样本评审。
某个模型路由成本上升但接受率不变，切回更便宜方案。
用户频繁查看来源，可能说明结果缺少足够信任，应改进证据展示，而不是隐藏来源入口。
指标的价值不在于描述产品，而在于改变产品。
系列小结
AI 产品的完整链路，现在可以连起来了。
从一个高痛点、可验证、能获得上下文的工作流切入。
用原型制造能力、行为和价值证据。
把真实失败样本接进开发评估闭环。
用第一次被接受的结果定义激活。
靠上下文积累、工作流嵌入和委托升级建立留存。
选择同时连接价值与成本的收费单位。
让产品输出和生态伙伴形成分发回路。
最后，用 Outcome、Trust 和 Economics 同时判断这套系统是否健康。
模型能力还会继续变化。
但产品的基本问题不会消失：为谁解决什么问题，怎样证明结果有效，用户为什么愿意回来，以及这件事能不能持续运转。
会调用模型，是能力。
把能力变成一条可靠的价值链，才是产品。