车间里的黑盒子：聊聊AI可解释性信任

昨天刚擦完巡检车的轮胎。踩了满脚的切削液，粘糊糊蹭得裤腿上都是。新来的实习生蹲在质检区的围栏边，盯了屏幕快半小时，见我过来拽着我问，师傅，这AI说这个焊痕不合格，我翻来覆去看了三遍，啥毛病没有啊，它为啥这么说？

准确率再高，说不清楚为啥也没人信

汽车焊装车间AI质检工位实拍 说实话，这事儿不是实习生矫情。这条产线换AI质检快三个月了，一开始所有师傅都抵触。为啥？之前厂商来演示的时候，把效果吹得天花乱坠，装上去之后，AI出的结果就是一行字"合格/不合格"，啥解释没有。你说它判对九十九次，只要有一次瞎判，没人敢放它过去。 很多搞AI的人说，准确率够不就行了？要啥解释？不对。我们车间干活，出了问题要担责的对吧？一个不合格的焊装件流下去，到了总装装完，最后发现裂了，整个车都得拆，谁受得了？AI说不合格，你找不到问题，你敢信它把件直接报废？万一是好的，这不平白浪费了成本？AI说合格，你没查出来问题，流出去出事了，算谁的？ 很多人以为信任来自高准确率，其实根本不是。信任来自你能摸得着它的判断逻辑，出了错能找到原因，出了问题能兜住底。

给黑盒子开个窗，大家才敢伸手碰

工业AI缺陷检测可解释性热力标注图 后来软件厂商过来改了一版，加了个大家都能看懂的功能。AI判完不合格，直接在焊缝的成像图上，把它认定有问题的地方标成红块，颜色越深，AI觉得问题越大。一下子就清楚了。 你猜怎么着？刚才实习生碰到的那个情况，红块就落在焊缝边缘一点小黑影上，他拿抹布一擦，那点铁屑就掉了，再扫一遍，AI直接判合格。哦，原来如此啊。不是AI瞎搞，是它把沾上去的脏东西当成缺陷了。 之前碰到这种情况，师傅得把整个焊缝摸一遍，打光照半天，还得怀疑是不是自己漏看了，现在好了，AI指哪你查哪，十秒钟就能弄明白。 不过话说回来，也不是要AI把每一个神经元的计算都给你列出来，那玩意儿谁看得懂啊？我们车间师傅不需要那个，只要你告诉我，你是盯着哪块地方出的结果，这不就够了？这就是我们要的可解释性啊。

能接得住疑问，才配谈信任

能接得住疑问，才配谈信任 我见过很多产线上的AI，最后都被束之高阁，不是准确率不够，是根本建立不起信任。工人用着心里发慌，管理员看着没底，出两次事，直接就换回人工了，大几十万打水漂。 AI可解释性信任说起来玄乎，放到车间里其实一点都不复杂。就是你AI给了我一个结果，你得告诉我你为啥给这个结果，让干活的人能验证，能反驳，出了错能改。就这么简单。 你想啊，你跟一个人打交道，他每次给你出主意，都说你别问为啥，信我就行，你敢信他吗？换AI也一样啊。没人会信一个啥都不说的黑盒子。 昨天那个实习生看完红块，擦完铁屑，重新过了一遍质检，跟我说，原来这AI也不是那么不靠谱嘛。你看，就这么一个小小的改变，信任一下子就上来了。