智能锅事件传到青橙数科,老周听完只评价了四个字:“锅没背锅。”
林凡说:“它确实想背,背的是健康责任。”
老周把茶杯放下:“机器不会负责。它只会执行目标。目标谁写的,默认谁设的,权限谁诱导开的,出事就该问谁。”
这句话没过两天,就在公司里派上了用场。
青橙数科之前给一家社区服务平台做了“智能推荐助手”,主要给居民推荐便民服务、健康活动和商家优惠。项目不大,但覆盖不少中老年用户。平台上线后,推荐助手把一个“AI 经络调理体验课”推给了大量老人,理由是“符合健康兴趣和社区活跃画像”。
体验课背后,就是西门那家送鸡蛋的养生馆。
有老人买了三千多的理疗套餐,回家后家属投诉,说社区平台给骗子背书。平台客服回复:推荐由算法自动生成,平台不对第三方服务效果负责。
投诉很快闹到青橙数科。
项目经理拿着工单来找林凡,脸色比上次合同埋雷还难看:“这个推荐规则是你们组调过的?”
林凡翻记录:“基础标签是客户提供的,推荐模型我们做的,商家审核规则是平台自己配的。”
项目经理说:“客户现在问为什么会推这个商家。”
老周从旁边伸手:“日志。”
项目经理一愣:“什么?”
“推荐日志、商家审核记录、标签来源、用户授权记录。”老周说,“先看链路,再谈责任。”
他们调出后台。记录显示,养生馆注册时提交的是“健康科普活动”,平台审核只看了营业执照和场地照片,没有核验宣传内容。推荐系统抓取到它的活动文案里有“免费检测”“老年健康”“AI 理疗”“限时体验”等关键词,匹配到中老年高活跃用户。模型还给了一个高分理由:该活动具备强参与激励,有助于提升社区服务触达。
张磊看完截图,吐槽:“强参与激励,翻译一下就是送鸡蛋。”
林凡说:“模型不知道鸡蛋后面可能是套餐。”
老周说:“不是不知道,是没人让它知道。你给它的目标是提升触达和点击,它当然找最能让人点的东西。至于点完会不会被忽悠,那不在它的目标里。”
客户会议开得很急。平台负责人一上来就说:“我们只是技术中立推荐,用户购买是个人选择。”
老周坐在屏幕前,表情平静:“技术中立,不等于业务免责。”
负责人皱眉:“推荐系统没有主观意图。”
老周说:“机器没有主观意图,所以更要问人。谁定义了推荐目标?谁审核了商家?谁把老年健康标签开放给商业活动?谁决定高点击就是好推荐?”
会议室里只剩键盘风扇声。
负责人说:“但如果每个推荐都人工审,成本太高。”
林凡接话:“不是每个都审。高风险人群、高风险品类、高诱导文案,需要人工复核。比如老年用户、健康理疗、金融投资、倒计时、免费礼品、夸大效果,这些组合出现时,系统应该降权或拦截,而不是加分。”
项目经理看了林凡一眼,这次没有踢他。
客户沉默片刻,问:“能补吗?”
老周说:“能补规则,但已经被推过的人要处理。通知、下架、退款协助、商家复核,缺一不可。”
负责人有些不情愿:“这会影响平台口碑。”
老周说:“不处理才影响。你们现在不是在选择有没有口碑,是选择口碑坏在谁嘴里。”
会议结束后,项目组开始补高风险推荐规则。林凡和老周一起写拦截条件:中老年用户加健康服务,加免费礼品,加疗效暗示,必须进入人工审核;商业活动不得使用“AI 检测”暗示医疗效果;推荐理由不得只以点击概率排序,要加入风险权重。
林凡写到一半,问:“周哥,风险权重怎么定?”
老周说:“先别装得太聪明。能明确的先规则拦,不能明确的人工看。模型不是不能用,但别把所有复杂情况都扔给一个分数。”
林凡想起 AI 面试官,也想起智能锅。一个把人变成稳定性分数,一个把吃饭变成健康目标,一个把送鸡蛋变成触达效率。它们都没有恶意,但都顺着某个单一目标,把人的复杂处压扁了。
当天晚上,平台发布了致歉通知,下架相关活动,并提供投诉通道。通知写得很官方,但至少没有再说“算法自动生成”。林桂兰把通知转到小区群,说:
以后看到社区平台推荐也别全信,推荐不等于担保。
王阿姨说:
那以后还能信什么?
林桂兰回:
信之前多问一句。
这句不漂亮,却很实用。
养生馆门口第二天冷清了不少。刘大爷提着菜路过,嘀咕:“我就说它鸡蛋送得太积极。”
林桂兰问:“你不是去领过?”
刘大爷说:“领鸡蛋和相信它是两回事。”
林桂兰冷笑:“你们男人被骗前都这么有层次。”
刘大爷装没听见,走得很快。
青橙数科内部复盘会上,老板试图把事故定义为“外部商家资质不清导致的推荐偏差”。老周听完,直接说:“别绕。我们系统目标也有问题。”
老板脸色不好看:“老周,话不要说太满。”
老周说:“话不说满,锅就会甩满。”
会议室里有人低头憋笑。
老周继续:“机器不会负责,供应商会甩锅,客户会甩锅,平台会甩锅。最后如果没有日志,没有规则,没有人工复核,锅就落到最末端那个接电话的客服、写代码的小孩、甚至被骗的老人身上。你们要是真想做 AI,就先想清楚,出事时谁站出来。”
林凡坐在旁边,第一次觉得老周的嘴毒不是脾气,是经验攒出来的防线。
复盘结果写进了公司新规范:
涉及老年、医疗、金融、教育、招聘等高风险场景的 AI 推荐,必须保留推荐理由与来源日志;不得以“算法自动生成”作为免责表述;必须设置人工复核入口和用户申诉入口。
项目经理看着规范,叹气:“以后活更多了。”
林凡说:“是。”
“钱不一定更多。”
“大概率。”
“那为什么还要做?”
老周从旁边路过,扔下一句:“因为不做的话,迟早会用更多时间道歉。”
晚上,云启未来白板写得很满。
张磊写:
机器不会负责,但人很会甩锅。
何苗写:
推荐不是担保,却会制造信任错觉。
林凡写:
目标函数里没有责任,责任就会从结果里消失。
林桂兰来送水果,看见“目标函数”三个字,嫌弃地说:“写这么复杂干嘛?就写:出事别赖锅。”
张磊立刻拿笔补上:
出事别赖锅。
何苗看了看,点头:“这句传播效率高。”
林凡翻开黑色笔记本,把老周的话记下来:
机器不会负责。
人如果也不负责,智能就只剩下一个更高级的借口。