GPT-4OpenAI 的研究是怎么让 AI 更像我们大脑的

就在刚刚过去的本周二,OpenAI又公布了一项重量级研究成果:用GPT-4解释GPT-2的神经元行为,引起全球吃瓜群众啧啧称奇的同时也不免让人心生好奇,AI不是人类发明的吗,为什么现在需要用AI来解读AI?

OpenAI本周二在官网发布博客文章《语言模型可以解释语言模型中的神经元》(Language models can explain neurons in language models),就表示:

“我们使用GPT-4自动编写大型语言模型中神经元行为的解释,并为这些解释评分。我们发布了GPT-2中每个神经元的这些(不完美的)解释和分数的数据集。”

一篇论文发布,本来不值得称奇;但读过这篇论文的人,却大多不免被OpenAI的奇思异想震撼,头皮发麻。

打从ChatGPT横扫科技圈的那天,就一直有人发问:“到了今天这一步,AI是怎样实现这么强大的功能的?”

为了回答这个问题,OpenAI的做法可以简单的概括为“用黑盒解释黑盒”。而且OpenAI的这次研究成果,倒也不失为后续AI与大模型等相关企业进行研究探索了新的方向,自然意义非凡。

此次对神经元的解释恰如当年的科研工程“人类基因组计划”,辨识基因及其序列对医学,生物学,乃至整个生命科学都产生难以估量的深远影响,实现了破译人类遗传信息的终极目的,而对每个神经元的解释也意味着人类在破解AI奥秘的漫漫长路上又前进了一步。

1 研究的起因

自去年11月ChatGPT上线以来,大语言模型(LLM)就引起了普遍关注,引起关于AI伦理与治理的担忧也日益的水涨船高:“LLM等大模型的能力越来越强,部署和应用的也越来越广泛,但对其内部工作方式的理解,我们仍然知之甚少。”

因为大模型自带“黑盒”性质,外界很难分辨它们的输出结果是否采用了带有某种见不得人的方法,AI幻觉难以根治,“一本正经的胡说八道”也常常导致令人啼笑皆非,哭笑不得的结果,因而了解黑盒内部的工作方式,特别是黑盒的“可解释性”是迫切需要解决的一个重要问题。

通常说来,AI的工作方式可以视为对人类大脑工作方式的逆运用与模仿。而黑盒也在结构上模仿大脑,由海量的神经元组成。比如ChatGPT就是在学习文本的同时观察其中的规律,以及这些规律如何影响最终的结果。因此要想说明“可解释性”就要先了解每个神经元在做什么。

从AI的角度来说,每个神经元都代表着不同的数据以及与之相关的特征,如果神经元数量有限或许可以用人力完成,但是如今大模型的神经网络包含的参数动辄百亿千亿,而且还在不断进化发展,再依靠人力明显是痴人说梦。

那么OpenAI用GPT-4解释GPT-2的神经元行为也就不难理解了,对此官方表示“我们用GPT-4为GPT-2中的神经元行为自动编写解释,并为这些解释打分。”GPT-2首发于2019年2月,神经元约30万个,参数量约15亿。

2 实际表现与引起的反响

此次的解释过程可分为三步:

1.给GPT-4一个GPT-2已有的神经元,由GPT-4展示相关的文本序列和激活情况,产生一个对此类行为的解释;

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。