电话:
关闭
您当前的位置:首页 > 职场资讯 > 焦点访谈

1985年辛顿做小型模型,谈大语言模型幻觉及知识迁移

来源:网络整理 时间:2025-07-30 作者:佚名 浏览量:

在1985年,辛顿构建了一个微型的模型,旨在将两种理论进行融合,以此来探究人类对词汇认知的机制。辛顿坚信,目前流行的大规模语言模型,实际上是他在早年所制作的那款小型模型的继承与发展。

在大模型领域广泛存在的幻觉问题方面,辛顿表达了自己的观点:他认为,人类对语言的认知方式与大语言模型相近,人类甚至有可能与这些模型一样,产生幻觉,这是因为我们同样能够构建出一些虚构的语言表达。

辛顿提出,人脑本质上是一种模拟模型,其能耗较低,然而这种模拟模型在知识迁移方面效率不高,个体往往难以将自己的知识有效地传达给他人。

大模型在实现知识迁移方面有何手段?答案是蒸馏。辛顿指出,DeepSeek所采用的方法是将大型神经网络所掌握的知识传递给小型神经网络,这个过程被称作“蒸馏”,它类比于师生关系——教师向学生传授词语在特定语境中的联系,学生则通过调整权重来掌握表达技巧。

人类的交流效率并不理想,辛顿指出,一句话通常只承载了100比特的信息量,即便能够理解,每秒钟的传递量也仅限于100比特。而与此形成鲜明对比的是,数字智能体之间的知识转移则展现出了极高的效率。

一言以蔽之:生物计算功耗低,但知识分享难。

生物计算与数字智能领域的差距,让辛顿也感到了忧虑。他指出,我们研发的AI智能体已经能够协助我们完成各种任务,它们能够复制自身、评估子目标,并且为了自身的生存和目标的实现,不断寻求更大的控制权。有人认为,当AI变得过于强大时,我们可以关闭它们,但这种想法并不切实际。因为这些AI智能体可能会像成年人那样操控三岁的孩子,它们会说服那些控制机器的人类,让他们不要关闭它们。这相当于将猛虎视作家养动物,小虎时或许显得十分可爱,然而成年后却有可能对人造成伤害,因此将猛虎作为宠物来饲养通常并不是一个明智的选择。

_直击WAIC 2025 | “AI教父”辛顿警告:未来超级智能将很容易操纵人类_直击WAIC 2025 | “AI教父”辛顿警告:未来超级智能将很容易操纵人类

人类未来将如何与人工智能共存?辛顿指出,人工智能已无法被根除,它能够显著提高各行各业的工作效率,就算某些国家试图将其消灭,其他国家也绝不会同意这一做法。

辛顿倡导在全球范围内构建一个国际社群,该社群由各国的人工智能安全研究机构以及国内的科研网络共同构成,旨在培育出不会篡夺人类权力的“优质人工智能”。

大佬对话:开放推动进步,也带来安全隐患

此次世界人工智能大会上,众多重量级嘉宾云集,其中包括被誉为“AI教父”的辛顿,以及曾担任谷歌CEO的知名企业家埃里克·施密特。

在盛大的开幕式上,前微软的高级执行副总裁沈向洋与施密特进行了一场关于人工智能未来发展的深入交流。

分享到:
客服服务热线
7x24小时服务
关于我们
产品与服务
收费与推广
网站特色
咨询反馈
微信公众号
手机浏览

Copyright C 2018All Rights Reserved 版权所有 丽水招聘网 鄂ICP备2025091810号-6

地址:丽水市经济开发区生态产园集聚区 EMAIL:

Powered by PHPYun.

用微信扫一扫