老周最讨厌“自主纠错”四个字。
老板在技术会上说,新一代 AI 系统具备自主评估、自主优化、自主纠错能力,未来运维压力会大幅降低。ppt 上画着一个闭环:模型输出、用户反馈、自动评估、参数调整、模型优化。
箭头圆润,颜色清爽,看起来像一个永远不会出事的洗衣机程序。
老周看了三页,举手。
老板的笑容立刻多了一点防备:“老周,你说。”
老周问:“它知道自己错在哪儿吗?”
技术供应商回答:“系统会根据反馈和评估指标自动识别偏差。”
“反馈是谁给的?”
“用户、业务系统和自动评测。”
“用户反馈不全怎么办?业务指标本身有问题怎么办?自动评测用的标准错了怎么办?”
供应商停了一下:“所以我们会持续优化。”
老周冷笑:“你看,最后还是人。”
会议室里有人低头憋笑。
老板说:“老周,我们不是说完全不需要人,是说系统能减轻人工负担。”
老周点头:“减轻可以。别神化。自主纠错听起来像系统会反思,其实多数时候是按人给的指标调整。指标错,它就朝错误方向更努力。”
林凡想起招聘系统。如果企业把“录用后稳定性”当唯一好指标,模型就会越来越偏爱过去那类稳定候选人;如果平台把“点击率”当好指标,推荐系统就会越来越会诱导;如果客服把“减少转人工”当好指标,机器就会更努力把用户留在对话里,直到用户炸。
所谓自主纠错,首先要问:谁定义了错?
会后,老周给 AI 运维治理小组开了个小课。他在白板上写:
模型不会自己长良心。
小吴问:“那它不能根据反馈学吗?”
“能。”老周说,“但反馈不是天降真理。有人懒得反馈,有人乱反馈,有人被系统伤了直接走,有人没资格反馈。你只看留下来的反馈,就像只问没退群的人群聊好不好。”
张磊听到这句,立刻说:“我懂。副业群里没退的人都说老师好,退的人已经被踢了。”
老周点头:“对。幸存者反馈。”
陈茜补充:“客服也是。最生气的人有时直接投诉监管,不在系统满意度里。”
林凡把这些写成“自主纠错风险清单”:反馈偏差、指标偏差、评测集过期、业务目标错误、用户沉默、边缘群体样本不足、错误被短期收益掩盖。
老板看到清单,叹气:“照你们这么说,AI 什么都不能自己干?”
林凡说:“不是不能自己干,是不能自己证明自己干得对。”
老周说:“让模型自证正确,就像让员工自己给自己发年终奖,听着美好,老板不会信。”
老板被噎住。
苏晓远程看了清单,补了一条:纠错过程必须保留版本和影响评估,不能今天模型改了,明天没人知道哪些人被改动影响。
林凡回复:这条很运维。
苏晓:这是风险的基本礼貌。
张磊把这句也想写白板,被苏晓提前发来:不授权。
张磊说:“她对自己语录的风控越来越强。”
自主纠错神话很快被现实打脸。招聘系统为了降低年龄偏差,供应商自动调整了一个经验权重。结果部分资深候选人分数上来了,但应届生被判“项目经验不足”的比例升高。系统像一个不会做饭的人,觉得菜咸了,就疯狂加水,最后汤没味了。
林凡让供应商暂停自动调整,改为灰度测试和人工评估。
供应商说:“这样纠错速度会慢。”
林凡说:“慢一点,总比把新问题当修复上线强。”
老周满意地点头。
晚上,云启未来白板写:
自主纠错不是自我反省,是按指标重新犯错或少犯错。
何苗写:
先问谁定义了错,再问系统会不会改。
张磊写:
模型不会自己长良心。
林凡写:
AI 可以帮忙发现异常,但不能替人决定什么叫正常。
林桂兰看见后,说:“这不就跟家里一样?你小时候自己说知道错了,我也得看你下次还偷不偷钱买游戏卡。”
林凡:“妈,这事能不能别跨卷追责?”
林桂兰:“不能。家庭日志保存期长。”
老周听完,笑得茶差点洒出来。
自主纠错的讨论后来被老板要求写成内部规范。林凡起草时,特意把第一条写得很直:
任何模型自动优化不得直接进入生产环境,必须经过灰度、评估和人工确认。
老板嫌“任何”太绝对,想改成“原则上”。老周看见后,把“原则上”圈出来:“原则上就是出事后的洞。”
项目经理小声说:“但老板喜欢留余地。”
老周说:“停机按钮可以留余地,事故不会。”
最后文件里保留了“必须”。林凡知道这只是一个词,但很多事故就是从一个词松掉开始的。
老周后来把那份规范打印出来,贴在运维小组墙上。小吴问为什么不用电子版,老周说:“电子版改一个字没人知道,纸贴墙上,谁改都得先撕胶带。”
陈茜说:“这叫物理防篡改?”
老周点头:“土,但有效。”
老板路过时嫌纸不好看,老周说:“太好看容易被当文化墙。”
林凡看着那张皱巴巴的规范,突然觉得它比很多精致流程图可靠。至少它丑得很诚实,提醒每个路过的人:自动纠错不是魔法,生产环境也不是试验田。
小吴后来在旁边贴了一张便利贴:
上线前先问一句,错了谁疼?