大脑飞行?Hinton推特引热议 神经网络是让小鸟飞起来的「羽毛」?
Hinton刚刚在Twitter上开了一个小讨论: 人们反对在设计神经网络时从大脑获取灵感,就像在设计飞行器时从羽毛中获取灵感一样。
△ 「通常,在设计神经网络时,很多人反对从大脑汲取灵感,这就像从羽毛构造中汲取灵感设计飞行器一样。无人机需要的桨叶是不会对撞到的东西造成损坏,还可以通过快速的预处理轻松修复。大脑」
所以,神经网络的设计到底能不能借鉴人类大脑构造?
「能」或「不能」,这是一个问题
前排网友激动讨论:太对了。飞机的设计灵感就来自鸟。大自然向我们展示了如何飞行。AI也是一样。神经网络仍处于不断发展当中,无论何时,只要出现了任何难倒人类但已经被大自然解决的问题,我们都没有理由不去研究大自然的解法,除非我们疯了。
也飞行有网友表示:的确,人类不能像鸟类和昆虫那样以惊人的灵活性(滑行、加速、停止、高效率)「飞行」。对大脑来说,什么是 「飞行」?预测吗?也许吧。神经网络不能像大脑那样执行许多任务。我认为这很有启发性。
也有网友认为:对于分类问题,BP(反向传播)可以被看作是带有特征工程(Feature engineering)的LR(逻?H辑回归)。
△ 为什么关心这个问题?事情是这样的,在数学中也是如此,你使用一些工具来得到一个或一些想要的结果,如果你运气好的话,过一段时间,你就会明白为什么这些工具真的帮助了你。对于分类问题,BP可以被看作是带有特征工程(Feature engineering)的LR.
还有网友表示:自我保护和自我维持的设计in还没有纳入机器的考虑范围。
△ 大脑和鸟类出于生存的需要,进化出了自我修复的能力。无人机和它们撞到的东西被看作是人造的和可替换的。自我保护和自我维持的设计还没有纳入机器的考虑范围。
甚至有网友质疑是否可以将大脑-神经网络与鸟类-羽毛进行对比:
△ 我们必须确定神经网络和大脑之间的关系是否可与羽毛和鸟类(或桨叶和to无人机)之间的关系相提并论......不确定是否如此。
也有网友搬出了《大英百科全书》的解释:
羽毛的进化早于鸟类,甚至早于鸟类飞行。因此,早期的羽毛具有保温功能,(......),但不具有空气动力学和飞行功能。(......)羽毛不再被认为是鸟类的独特和诊断性特征。
在反向传播算法出现的好几十年,关于大脑如何学n推习的理论主要受「赫布理论」(1949)影响,通常被解释为「共同激发的神经元之间存在连接」,即相邻神经元的活动越相关,它们之间的突触联系就越强。
这一理论经过一些修改后,成功解释了某些类型的学习和分类任务。
虽然赫布理论在使用错误信息时,是一种的非常狭窄、特殊且不敏感的方法,但对神经学家来说,它仍然是最好的学习规则特引,20世纪50年代后期,它甚至激发了第一个人工神经网络的发展。
这些网络中的每个人工神经元接收多个输入并产生一个输出,和真实的神经元一样。人工神经元用一个所谓的「突触」权重(一个表示该输入重要性的数字),对输入进行加权求和。
到了20世纪60年代,这些神经元可以被组织成一个有输入层和输出层的网络,「人工神经网络热议」可以被训练来解决某些简单的问题。
在训练过程中,神经网络为其神经元确定最佳权值,以降低误差。
然而直到1986年以前,没有人知道如何有效地训练带有「隐藏层」的人工神经网络,直到Hinton发表了「反向传播算法」相关论文。
反向传播的发明立即引起了一些神经科学家的强烈抗议,他们认为这种方法不可能在真正的大脑中起作 神用。
首先,虽然计算机可以很容易地在两个阶段实现该算法,但是对于生物神经网络来说,这样做并不简单。
其次,是计算神经科学家所说的权重传递问题: 反向传播算法复制或「传输」关于推理所涉及的所有突触权重的信息,并更新这些权重以获得更高的准确性。
但是在生物网络中,神经元只能看到其他神经元的输出,而不能看到影响输出的突触权重经网或内部过程。
从神经元的角度来看,「知道自己的突触权重是可以的,你不能知道其他神经元的突触权重。」
任何生物学上似乎可行的学习规则也需要遵守神经元只能从相邻神经元获取信息的限制; 反向传播可能需要从更远的神经元获取信息。
因此,「如果你反向传播信号,大脑似乎不可能计算。」
胶囊网络
2017年,深度学习三巨头之一络是的Geoffrey Hinton,发表了两篇论文解释「胶囊网络(Capsule Networks)」。
在当时,这是一种全新的神经网络,它基于一种新的结构——胶囊,在图像分类上取得了更优越的性能,解决了CNN的某些缺陷,例如无法理解图片和语义关系、没有空间分层和空间推理的能力等。
在CNN中,左右两幅图都可被网络识别为让小人脸
甚至,Hinton自己也公开表示过,他要证明为何卷积神经网络完全是「垃圾」,应该以自己的胶囊网络代替。过去三年中,他每年都会推出一个新版本的胶囊网络。
今年2月,Hinton发表了一篇新论文:如何在神经网络中表示部分-整体层次结构?(How to represent part-whole hierarchies in a鸟飞 neural network)
本论文中,他提出了一个叫做GLOM的架构,可以在神经网络中使用胶囊来表示视觉的层次结构,即部分-整体的关系。
GLOM通过提出island的概念来表示解析树的节点。GLOM可以显著提升transformer类的模型的可解释性。可以显著提升transformer类的模型的可解释起来性。
作为深度学习的大大牛,Hinton提出了反向传播(BP),随后又一直在否定自己的工作,提出了「胶囊网络」还有其他工作来增加生物学上的解释,对于揭开大脑构造和神经网络之谜,他的思考从未停止。
- ·标签: 米哈游 原神 绝区零 潇潇枫汐
- ·小米发布全链路语音大模型 MiMo-V2.5,TTS 可“一句话生成新音色”,ASR 开源支持方言与多语混说
- ·Firecrawl宣布下周开源AI就绪检查器,助力网站全面优化
- ·标签: 英伟达 OpenClaw NemoClaw GTC2026
- ·标签: 支付宝 阿宝 AI版支付宝 资产卡片
- ·芯片短缺仍将持续6个月!思科CEO认为芯片制造能力应更加分散
- ·Strella 获 1400 万美元融资,推动 AI 面试技术革新客户研究
- ·谷歌发布史上超强人类大脑「地图」,在线可视3D神经元「森林」
- ·标签: 小米汽车 SU7
- ·标签: 瑞幸咖啡 咖啡品牌 股份回购 2026年Q1财报
- ·标签: LanzaJet SAF 生物燃料 Freedom Pines Fuels
- ·字节跳动公开关于云应用方面的新专利
- ·超预期业绩!阿里云26%增速领跑,AI收入连续8季度三位数增长
- ·标签: 奇瑞汽车 风云X3L 天门山 致歉声明
- ·标签: 番茄音乐
- ·欧盟推出11亿美元计划推动人工智能自主权
- ·谷歌发布广告安全报告:2020年屏蔽或移除了约31亿条违规广告
- ·云安全日报211210:Apache Log4j2发现远程代码执行漏洞,需要尽快升级
- ·华人博士生首次尝试用两个Transformer构建一个GAN
- ·标签: 普罗宇宙 大白2.0 普罗小灵 京东合作
- ·云计算开发:Python内置函数-max()函数详解
- ·Vidu Q2全面升级:参考生视频提速三倍,支持长达五分钟 AI 故事创作
- ·云安全日报210602:红帽核心应用程序组件发现内存损坏漏洞,需要尽快升级
- ·网易游戏开发新突破!通义千问助力效率提升50%!
- ·标签: 五菱星光 家庭用车 MPV 插混
- ·标签: 小红书 2026世界杯 咪咕 范志毅
