新物网

当前位置:首页 > 互联网

互联网

LeCun的意难平!Galactica比ChatGPT早发两周 却因幻觉问题被喷下线

时间:2023-11-15 14:40:34 小新
站长之家(ChinaZ.com)11月15日 消息:在大型语言模型(LLM)的领域,OpenAI的ChatGPT因其卓越性能和广泛应用而引起轰动,成为瞩目的焦点

站长之家(ChinaZ.com)11月15日 消息:在大型语言模型(LLM)的领域,OpenAI的ChatGPT因其卓越性能和广泛应用而引起轰动,成为瞩目的焦点。然而,在ChatGPT之前的两周,Meta发布了Galactica,一款试用版模型。Galactica在丰富的科学语料库上进行训练,包括4800万篇论文、教科书、化合物和蛋白质知识,但仅上线不到三天就被下线,因为生成的文本不严谨且存在幻觉问题。

Galactica被认为是大型语言模型的早期尝试,但其下线引起了Yann LeCun等人的关注。LeCun表示对Galactica的下线感到遗憾,并认为对其批评过于严厉。这一事件与最近LeCun与Geoffrey Hinton关于AI监管的辩论相呼应,LeCun警告说,过于强调人工智能道德可能会适得其反。

Meta公司AI研究副总裁Joelle Pineau在采访中强调,Galactica本质上是一个研究项目而非产品。尽管下线,但Galactica的经验教训对Meta后续的LLaMA项目产生了积极影响。Pineau表示,他们从Galactica的发布中学到了很多经验教训,并将这些教训应用于后续的LLaMA2项目。

VentureBeat的Sharon Goldman详细讲述了Galactica给Meta带来的教训。Galactica的第一作者Ross Taylor也在推特上发文,指出Galactica在发布时由于人手稀缺未对基础模型进行充分检查,导致了一些问题。然而,Taylor强调他们的研究仍然有价值,并且从Galactica的经验中学到的教训已经用到了后续的LLaMA2项目中。