新物网

当前位置:首页 > 互联网

互联网

伯克利分校推开放大模型Starling-7B 接受人工智能反馈训练

时间:2023-11-29 12:50:30 小新
要点:由加州大学伯克利分校研究人员推出的Starling-7B是一款基于Reinforcement Learning from AI Feedback(RLAI

要点:

  • 由加州大学伯克利分校研究人员推出的Starling-7B是一款基于Reinforcement Learning from AI Feedback(RLAIF)的开放式大型语言模型(LLM),采用人工智能反馈来提升其性能,特别是在聊天机器人响应方面。

  • RLAIF采用来自其他人工智能模型的反馈进行训练,以改进模型的性能。相比于以往的人工反馈,AI反馈具有更低的成本、更快的速度、更透明和更可扩展的潜力。Starling-7B通过RLAIF在性能上取得了显著的改进。

  • Starling-7B在两个基准测试中(MT-Bench和AlpacaEval)表现优异,尤其在安全性和帮助性方面。研究人员指出,虽然RLAIF主要提高了模型的帮助性和安全性,但在基本能力方面,如回答基于知识的问题、数学或编码,改进不大。未来的研究方向可能包括引入高质量的人工反馈数据,以更好地适应模型对人类需求的理解。

11月29日 消息:加州大学伯克利分校的研究人员推出了一款名为Starling-7B的开放式大型语言模型(LLM),采用了一种称为Reinforcement Learning from AI Feedback(RLAIF)的创新训练方法。

RLAIF的独特之处在于利用其他人工智能模型的反馈来提升性能,相较于传统的人工反馈,这种方法更具有成本效益、速度快、透明度高、可扩展性强的优势。Starling-7B基于新的Nectar数据集进行训练,包含183,000个聊天提示和380万个成对比较。

研究人员使用两个基准测试(MT-Bench和AlpacaEval)评估了Starling-7B的性能,这两个测试使用GPT-4进行评分,分别关注模型在简单指令跟随任务中的安全性和帮助性。Starling-7B在MT-Bench中表现良好,与OpenAI的GPT-4和GPT-4Turbo相媲美,在AlpacaEval中达到了与商业聊天机器人相当的水平。

研究人员指出,RLAIF主要改善了模型的帮助性和安全性,而在基本能力方面,如回答基于知识的问题、数学或编码等,改进较小。

尽管基准测试的实际应用有限,但对RLAIF的应用前景充满希望。研究人员建议的下一步是通过引入高质量的人工反馈数据,更好地调整模型以满足人类需求。

与此同时,研究人员强调,Starling-7B和其他类似的大型语言模型在需要推理或数学任务时仍然存在困难,并可能产生幻觉。他们将Nectar数据集、Starling-RM-7B-alpha奖励模型和Starling-LM-7B-alpha语言模型发布在Hugging Face上,并提供了研究许可证,代码和论文将很快公开。感兴趣的人还可以在聊天机器人领域测试该模型。