林凡第一次真正怕 AI,不是在模型失控的时候。
不是招聘系统把普通院校候选人刷掉,不是风控模型把穷人判得更穷,不是明镜系统给他打低分,也不是城市大脑计划把整座城市接进一张网里。那些时候他愤怒、紧张、疲惫,但还没有真正怕。
他真正怕,是看见林桂兰坐在沙发上,一遍遍说“我也会被骗”的时候。
那一刻,他怕的不是机器有多聪明,而是人可以借机器把另一个人了解得这么准,然后用这种了解去伤害她。
林凡把那个诈骗插件拆开看。它做得很粗糙,代码里甚至有不少低级错误,界面却做得很像城市服务。真正高级的不是技术,而是链路:谁知道林桂兰刚出院,谁知道她开过康康会员,谁知道她在社区做防诈志愿者,谁知道她举报过健康消费,谁知道她会对“退费”和“试点反馈”降低戒心。
每一条信息单独看,都不一定致命。
合在一起,就像有人站在她生活门口,知道该敲哪一下。
林凡查到插件服务器已经关闭,域名是临时注册,短信通道套了壳,人脸核验页面复用了第三方组件。警方受理了,但追回钱希望不大。林桂兰听见“希望不大”时,点了点头,表情很平静,平静得让林凡更难受。
磊磊坐在旁边,罕见地没说俏皮话。
何苗说:“我最恨的是,他们不是利用阿姨贪便宜。他们利用她想把事情做好。”
苏晓看着材料,声音很低:“这就是脆弱窗口商业化的更恶版本。它不是商业转化,是犯罪转化。”
老周打来电话,听完后沉默很久,说:“小林,这次你会怕是对的。”
林凡问:“怕有什么用?”
“怕能提醒你,问题不是技术边界那么抽象。”老周说,“问题是有人会把每一条边界往人身上捅。”
林凡一夜没睡。他坐在电脑前,把林桂兰被骗的全过程画成链路图。健康 App、城市大脑试点、社区身份、短信工单、核验插件、人脸确认、短信转发、资金转出。图画到最后,他发现最恐怖的不是某一个节点,而是节点之间的缝。每家公司都可以说自己只负责一小段:我只做健康提醒,我只做社区试点,我只做短信服务,我只做人脸组件,我只做支付通道。
每个人都只做一点点。
最后,林桂兰的钱没了,信心也被打碎了。
第二天早上,林桂兰不肯去社区活动室。小李来电话,她也没接。刘大爷在群里问林阿姨今天怎么没提醒大家先发群,林桂兰看见消息,眼睛又红了。
她说:“我还提醒什么?”
林凡说:“妈,正因为你也被骗了,才更能提醒。”
林桂兰摇头:“我现在说不出口。”
林凡没有逼她。
他第一次意识到,诈骗伤人的不只是钱。它会让一个原本愿意站出来的人缩回去,让她觉得自己没资格再帮助别人。骗子偷走的不只是三千八百块,还偷走了她的公共性。
这个词太书面,林凡没有对母亲说。他只给她倒了一杯热水。
小满提示:“桂兰女士今日活动量偏低。”
林凡关掉提示。
这一次,林桂兰没有阻止。
晚上,云启未来白板上,林凡写:
我第一次真正怕 AI,是怕人借它把善意拆成入口。
苏晓写:
精准伤害不是因为机器坏,而是因为有人把了解变成武器。
何苗写:
骗子偷走的不只是钱,还有人继续相信自己的勇气。
磊磊写:
别让被骗的人觉得自己没资格提醒别人。
林桂兰没有写。
她看了很久,最后把红袖标放在白板下面,没有拿走。
林凡那天没去公司。他给老板请假,理由写“家庭突发事件”。明镜系统自动回复:建议补充具体原因以便团队协同。林凡盯着这行字,第一次没有生气,只觉得荒唐得很疲惫。
他把手机扣上,坐到林桂兰旁边。母子俩很久没说话。林桂兰忽然问:“你说,我以后还能不能当志愿者?”
林凡说:“能。”
“别人会不会笑我?”
“可能有人会。”林凡说,“但更多人会因为你说出来,觉得自己也能说出来。”
林桂兰看着他:“你这话像苏晓教的。”
林凡愣了一下:“有吗?”
林桂兰说:“比你平时会说。”
林凡第一次在那天笑出来。笑得很短,却让屋里那股沉重松了一点点。
可笑完以后,怕还在。林凡重新打开电脑,看着那张链路图,第一次没有急着找技术解法。他盯着“健康会员”“社区试点”“退费工单”“人脸核验”几个节点,意识到每一个节点单独拿出来都能讲出正当理由。健康会员是关怀,社区试点是服务,退费工单是补偿,人脸核验是安全。
最可怕的不是邪恶伪装成邪恶,而是每个环节都披着一点正当。
他把这句话发给苏晓。苏晓回:所以要查组合风险。
林凡在笔记本上写下:组合风险。以前他总盯着单个模型、单个接口、单个流程,现在他终于明白,伤害常常发生在系统和系统握手的地方。握手的人都说自己礼貌,最后被握住脖子的是普通人。
那天晚上,他把家里所有外部授权重新查了一遍。小满、智能锅、家务机器人、康康、社区服务小程序、医院随访系统,每一个都弹出“关闭可能影响体验”。林凡一个个关掉非必要权限,关到最后手指发酸。
林桂兰看着他忙,说:“你这是给家里拆线?”
林凡说:“先把不该连的断开。”
林桂兰说:“断了以后会不会不方便?”
“会。”林凡说,“但方便不能什么都知道。”
这句话说完,他自己心里也疼了一下。母亲刚刚被伤过,生活却还要继续用这些系统。真正可怕的不是把所有机器都关掉,而是你明知道它们有用,也明知道有人会从有用的缝里钻进来。