新物网

当前位置:首页 > 科技

科技

2024年到来,会是小车型的成功之年吗?

时间:2024-01-11 09:21:36
不过,这样的趋势很可能在2024年产生变化。大模型发展即将受阻,小模型能否顺势而为,迎来自己的井喷元年?值得一提的是,GPT-3的参数量很大,是小模型的1400倍。不是大模型做不起,而是小模型更具性价比。到了那时,如何用更少的数据,更少的能源训练出更好用的模型,就成为了未来的重中之重。

2024年到来,会是小车型的成功之年吗?

乘着爆发性的东风,2023年成为当之无愧的“大车型爆发年”。 紧随人工智能的脚步,许多大型厂商和知名企业都推出了自己的大型人工智能模型。 正因为如此,大型模型赛道上的竞争变得异常激烈,烧钱的势头也变得异常激烈。

不过,这种趋势很可能在2024年发生改变。任何事物的发展都必须经历“诞生、发展、高潮和低谷”的阶段。 在2023年已经大放异彩、拥有无数高光时刻的大车型,很可能在2024年逐渐降温、失去光环,而小车型,则可能在今年成为突破口。

“尽管大型模型引人注目,但企业对这些技术的采用却几乎没有实质性增长。”

众所周知,在高科技和昂贵测试的支持下,大模型产品的表现变得非常出色,整个赛道也令人惊叹不已。 但遗憾的是,这些费尽心力制作出来的优秀大型模型产品却很难成功变现。

根据印度 IT 巨头的最新调查结果,只有 6% 的欧洲公司通过生成式 AI 用例创造了商业价值。 麦肯锡还在 2023 年报告中得出结论,“虽然生成式人工智能的使用可能会刺激其他人工智能工具的采用,但我们相信企业对这些技术的采用不会有实质性增长。”

资本市场对大模型AI的态度也不容乐观。 从融资规模来看,生成式AI的投资浪潮是“昙花一现”。 虽然领先的AI企业和最先抓住机遇的AI企业赢得了大量资本的青睐,但后续的AI企业想要收获资金,却也非易事。 数据显示,2023年,人工智能独角兽企业融资大幅下降,仅为2021年市场峰值的25%左右; 全球最活跃的9家VC对AI独角兽公司的投资也大幅下降。

原因并不难理解。 当潮水退去,你就会发现谁在裸泳。 投资者趋利避害,自然希望看到自己投资的AI公司产生尽可能多的利润。 在这种情况下,人工智能的投资泡沫会越来越少,相应地,人工智能企业的试错成本也会大大增加。

大型车型的研发即将受阻。 小车型能否顺势而为,迎来属于自己的井喷年?

在这种情况下,AI模型需要向更高效率、更低成本的方向发展。 从这个角度来看,小型号很可能比大型号更实用、更方便。

AI曾经做过一个实验,利用GPT-3微调和自己搭建的小模型来训练一个法律领域的垂直模型。 微调和构建 GPT-3 的成本为 7,418 美元,10,000 次推理的成本为 173 美元。 自己构建一个小模型的成本仅为 1,915 美元,10,000 次推理仅花费 0.26 美元。 准确率方面,GPT-3微调垂直模型准确率为71.4%,小模型准确率为71.3%。

值得一提的是,GPT-3的参数量很大,是小模型的1400倍。 当然,我们不能仅仅因为GPT-3微调的精度与小模型相似就妄下结论“参数数量多没有用”。 不过,这也许就是“杀鸡用牛刀”的道理,就像《华尔街日报》中提到的笑话一样,用 GPT-4 来总结电子邮件就像“让兰博基尼送披萨”。 毕竟很多场景下,用户并不需要那么多。

目前,国内AI领域也面临着同样的情况。

如今,国内已经发布了200多款所谓的“大车型”,“百款之战”正如火如荼地进行。 顶尖的几个大型模型都声称其参数规模超过千亿级别,有的甚至达到万亿规模。

但只要规模够大,就一定够好吗? 不必要。 百度李彦宏曾表示,“100多个大型模型是对社会资源的浪费……尤其是在中国计算能力还有限的情况下,企业应该探索结合各行各业的应用,推出新APP产品的可能性” , ETC。”

事实上,与李彦宏持相同观点的人不在少数。 大家应该更关注如何更好地将模型运用到实际应用中,而不是增加AI模型的规模。 不是大模型不能造,而是小模型更划算。

制作小模型的本质其实是制作更贴近用户的模型。

更重要的是,从某种程度上来说,更容易操作、成本更低的小机型或许更能满足C端用户的核心诉求。

大车型看似花哨,但存在成本高、个性化不足等问题。 如果大模型可以做的更小,甚至直接上移动端,并且模型可以插入到手机、智能汽车、机器人等设备中,那么C端用户的粘性肯定会大大提高。 尤其是从创业的角度来看,打造更贴近用户的模式,自然会因为更贴近用户而拥有更大的生存空间。

事实上,不少企业已经将此类战略提上日程。 据媒体报道,早在2022年初,阿里巴巴达摩院、上海浙江大学高等研究院、上海人工智能实验室联合研究团队通过蒸馏压缩、参数化等技术手段,压缩了3.4亿参数的M6模型分享。 拥有数百万个参数,其规模仅为大型模型的三十分之一,但却保留了大型模型90%以上的性能。 当然,2022年的3.4亿与如今大型车型的规模相比并不算太大,但此举无疑是“大规模减肥”的良好开端。

2023年伊始,大型AI模型的竞争愈演愈烈,形势愈发焦灼,最终演变成一场大规模的模型竞赛。 现在,潮水已经退去。 在花费了大量的资金、人力、时间之后,越来越多的AI企业认识到一个道理:如何“做大”不是关键,关键是如何“做大、做好”。 更重要的是,当大型模型进入应用过程时,如何实现“以小控大”。

就像区块链行业一样,在疯狂增长之后,必然面临监管压力,人工智能也将面临同样的情况。 如今,随着人工智能影响力的增强,相关问题也开始显现。 比如+产生的假新闻就造成了巨大的影响。

此外,大型AI模型的推进会消耗大量资源。 据新闻报道,到2027年,全球人工智能需求可能消耗66亿立方米水资源,几乎相当于美国华盛顿州每年的取水量。 人工智能对环境和能源可能产生的影响,将对人工智能产业造成一定的经济和政治压力。 届时,如何用更少的数据和更少的精力来训练更有用的模型将成为未来的重中之重。

本文来自微信公众号“新火”(ID:),作者:小燕,编辑:美美,36氪经授权发布。