北大研究人员这次发现了AI「躺平」原因,都是数据集的错
在训练人工「智障」的时候,AI最后经常会学到一些莫名其妙的方式来完成人类的的任务。
有一些AI就会去学习如何通过「卡bug」来快速通关。
还有一些AI学北大会了「只要把游戏暂停了,我就不会输」这个终极哲学。
AI也想「躺平」
为了让模型能够提高准确性,通常会设置相应的奖励,但有时候模型在前期就发现了能够获得奖励的研究「捷径」。
但凡AI尝到了甜头,它就会一直选择去走这个「捷径」,不再去学习更困难的知识或者方法。
来自北京大学的研究人员在训练语言模型的时候就发现:AI虽然人员能回答正确,但是它搞不明白为什么答案是对的,只知道遇到某类问题用这个回答就可以了。
于是,研究人员决定要把AI「扶起来」,让它们「努力学习」不能偷懒。
论这次文地址:
https://arxiv.org/pdf/2106.01024.pdf
这篇论文已经发表在arxiv上,作者是来自北京大学王选计算机研究所和北京大学计发现算语言学教育部重点实验室的Yuxuan Lai, Chen Zhang, Yansong Feng , Quzhe Huang,和Dongyan Zhao(赵东岩)
为什么了AAI总想去「躺平」?
尽管有些研究已经发现了AI总爱「躺平」的现象,但是他们并没有发现这个现象和数据集中的「捷径」问题有关。
为此,论文提出了一个经过标注的全新数I「据集,其中包括对一个问题的「捷径版」和「挑战版」两种回答。
数据集使用「释义」( paraphrasing )作为更复杂和更深入答案的标准,因为想要表达出学到的知识躺平,语义理解是必要的。相比之下,「捷径」的答案是有如日期或其他关键字生成的,但没有任何上下文或推理。
研究人员发现,训练集中「捷径版」样本越高,就越会阻碍模型学到」原「释义」从而去解决具有挑战性的问题。而模型在回答「捷径版」问题时的表现则基本稳定。
文章表明,当训练集中有足够多的「挑战版」问题时,模型不仅能更好地理解「挑战版因,」问题,而且也能正确回答「捷径版」问题。
AI是如何学会「躺平」的?
文章表示,在训练的早期阶段,模型往往会找到最简单的方法达到梯度下降从而拟合训练数据都是。而且由于「捷径」需要较少的计算资源来学习,因此拟合这些技巧会变成一个优先事项。
之后,由于模型学会的「捷径」可用于正确回答大部分训练问题,因此剩余的问题便无数据法激励模型继续去探索「挑战版」问题需要的复杂解决方法。
有没有办法把AI「扶起来」?
除了NLP架构本身的问题外,也很可能是训练过程中标准优化和资源保护的结果,集的以及让模型在短时间内以有限的资源去获得结果的压力。
如文章所说的那样,数据预处理领域可能需要考虑将数据中的「捷径」视为一个亟待解决的问题,或者是修改 NLP 架北大构从而达到优先考虑更具挑战性的数据的效果。
相关文章
根据路透社的报道,OpenAI 的首席执行官萨姆・奥特曼(Sam Altman)近期访问韩国,并计划于周三与韩国总统李在明进行会晤。此行旨在推动韩国在人工智能领域的投资政策,助力这个亚洲第四大经济体的2026-11-17
近日,供应链内部人士称,苹果已经预定了台积电的3纳米芯片,以用于增强iPad和Mac等需要强悍性能产品的竞争力。 此前,苹果曾推出搭载自研ARM处理器的Mac产品,虽然发布之初很多人并不看好这一产品,2026-11-17
云梦级3月20日云梦级消息,飞捷科思智能科技(上海)有限公司宣布完成近亿元Pre-A2轮融资。本轮由鼎峰科创领投,硅港资本、泰有基金、溢倡资本跟投,老股东东方富海、驰星资本持续加码。 公司称,资金将主2026-11-17
苹果12 mini销量不佳已遭停产 未来或全面取消mini机型
作者:小胖 据海外媒体报道,苹果(AAPL.NASDAQ)已经停产了iPhone 12 mini,并开始专注于清理库存。 针对此消息的真实性,有媒体向苹果方面进行了求证,但截至发稿未获回复。如果消息属2026-11-17
前言 有一个整数数组,我们想按照特定规则对数组中的元素进行排序,比如:数组中的所有奇数位于数组的前半部分。 实现思路 我们通过一个实例来分析下:假设有这样一个数组:[2, 4, 5, 6, 7, 8,2026-11-17
云计算开发:Python内置函数-frozenset() 函数详解
描述 frozenset() 返回一个冻结的集合,冻结后集合不能再添加或删除任何元素。 语法 以下是 frozenset() 函数语法: class frozenset([iterable]) 参数2026-11-17

最新评论