MIT提出Liquid机器学习系统,可像液体一样适应动态变化

  发布时间:2026-11-17   作者:玩站小弟   我要评论
百度蜘蛛池租用【tg:seogoogle987】。

在自动驾驶等许多重要应用中,数据都是实时动态的,并且时不时还会出现一些意外情况。为了高效地应对这一问题,MIT 的研究者受生物神经元启发而设计了一种新型神经网络,并且他们还通过理论证明和实验验证体现了该神经网络的有效性。相关代码也已公布。

麻MI省理工学院(MIT)的研究者开发出了一种新型的神经网络,其不仅能在训练阶段学习,而且还能持续不断地适应。他们将这种灵活的算法命名为「Liquid」网络,因为其能像「液体」一样改变其底层的数学方程以持续适应新的输入数据。这一进展能助力基于动态变T提化数据的决策任务,比如医疗诊断和自动驾驶中涉及到的任务。

论文地址:https://arxiv.org/pdf/2006.04439.pdf

代码地址:https://github.com/raminmh/liquid_time_constan出Lt_networks

「这条路能迈向未来的机器人控制、自然语言处理、视频处理——任何形式的时间序列数据处理。」该研究的主要作者 Ramin Hasani 说,「它的潜力确实很大。」

该研究论文是 AAAI 2021 会议入选论文之一。

Hasani 说,为了理解世界,iq时间序列数据不仅无处不在,而且至关重要,不可或缺。「真实世界都与序列有关。我们的感知方式也是如此——你感知的不是图像,而是图像的序列。」他说,「因此,时间序列数据实际上创造了我们的现实。」

他指出,视频处理、金融数据和医疗诊断应用都涉及到时间ui序列,而且这些应用对我们的社会至关重要。这些不断变化的数据流的变化情况难以预测。但是,如果能够实时地分析这些数据,并将它们用于预测未来的行为,那么就能极大促进自动驾驶等技术的发展。

Hasani 等研究者设计了一种能适应实时世界系统的变化的神经网络。神d机经网络的设计灵感来自生物大脑,而 Hasani 说他们的这种特定神经网络的设计灵感直接来自秀丽隐杆线虫(C. elegans)。他说:「它的神经系统仅有 302 个神经元,但却可以产生超出预期的复杂动态。」

通过仔细观察秀丽隐杆线虫的神经元的激活方式以及彼此器学通过电脉冲通信的方式,Hasani 编码出了他的神经网络。在其用于构建神经网络的方程式中,参数可基于一组嵌套的微分方程的结果而随时间变化。

算法 1:由聚合的常微分方程(ODE)求解算法实现的 Liquid 时间常量(LTC)循环神经网络,其中 θ 是习系参数空间,f 可以是任意激活函数。

算法 2:通过随时间反向传播(BPTT)训练 LTC。

这种灵活性是其中的关键。在训练阶段之后,大多数神经网络的行为都会固定下来,这意味着它们难以根据输入数据流的变化而进行调整。Hasani 说他的Liquid 网络的流动统,性使其能更弹性地应对意料之外的数据或噪声数据,比如滂沱的暴雨遮蔽了自动驾驶汽车的摄像机视野。「也就是说,它更加鲁棒。」

Hasani 并补充道网络灵活性还有另一大优势:「它也更能被解释。」

Hasani 说他的Liquid 网络规避了其它神经网络常见的难解性可像。「只是改变神经元的表征方式,你就可以探索以其它方式无法探索的某种程度的复杂性。」Hasani 采用的改变方式是使用微分方程。得益于这种数量少但却具有高度表征能力的神经元,可以更轻松地窥探网络决策过程的「黑箱」并诊断网络为何具有某种特定的特征。

Has液体ani 说:「这个模型本身具有丰富的表现力。」这能够帮助工程师理解和提升 Liquid 网络的性能。

图 1:通过轨迹长度衡量表现力,静态深度网络的轨迹隐含空间会随着输入穿过隐含层而变得更加复杂。

图 2:通过轨迹长度衡量表现力,使用不同激活函数的 LTC。

Has一样ani 的网络在一系列测试中都取得了出色表现。在从大气化学到交通模式分析等多种任务中,新提出的方法在预测未来值方面的表现优于其它当前最佳时间序列算法几个百分点。此外,由于该网络尺寸小,因此在测试的计算成本也低得多。「每个人都在谈扩大他们的网适应络」,Hasani 说,「我们想的是缩小,以便获得更少但更丰富的节点。」

时间序列预测结果。

Hasani 计划继续改进该系统,并探索其行业应用。「受大自然启发,我们已经有了一个得到证明的更有表现力的神经网络。但这个过程才刚刚开始。」他说,「显而易见的问动态题是:我们如何扩展它?我们认为这类网络将成为未来智能系统的关键组件。」

 

  • Tag:

相关文章

  • 马斯克旗下 xAI 数据标注团队裁员500人

    近日,马斯克创立的人工智能初创公司 xAI 宣布,将裁员约500人,约占其数据标注团队的三分之一。这一举措引发了业内的广泛关注。xAI 的数据标注团队在训练其聊天机器人 Grok 的过程中,承担了重要
    2026-11-17
  • 利用大数据和人工智能,解决英语语言教学问题

    一、英语教与学的现状 当前,我们的英语教学进步不小,但仍难以满足我国发展的需要,需进一步提高教与学的效率和质量,尤其是中小学的英语教学。我国高中毕业生的英语水平普遍存在以下问题:了解一些语法规则,但应
    2026-11-17
  • Pandas 中实现聚合统计,有几种方法?

    pandas是当前Python数据分析中最为重要的工具,其提供了功能强大且灵活多样的API,可以满足使用者在数据分析和处理中的多种选择和实现方式。今天本文以Pandas中实现分组计数这个最基础的聚合统
    2026-11-17
  • 云计算核心技术Docker教程:Docker Hub检查活动版本

    Docker Hub可以自动从外部存储库中的源代码构建映像,并将生成的映像自动推送到您的Docker存储库。 设置自动构建(也称为自动构建)时,将创建要构建到Docker映像中的分支和标签的列表。当您
    2026-11-17
  • 标签: 助贷 互联网助贷行业

    撰文 | CC 编辑 | 杨博丞 题图 | 豆包AI 近日,针对互联网助贷业务问题,金融监管总局对分期乐、奇富借条、你我贷借款、宜享花、信用飞等五家平台的运营机构进行约谈。“约谈要求,平台运营机构在与
    2026-11-17
  • 太天才了,把感知机组装在一起是不是就是神经网络了?

    大家好,今天来继续聊聊深度学习。 有同学跟我说很久没有更新深度学习的模型了,倒不是不愿意更新,主要是一次想把一个技术专题写完。但是纯技术文章观众老爷们不太爱看,所以我一般都把纯技术文章放在次条。不过既
    2026-11-17

最新评论