苹果大模子，不再隐藏

苹果大模子，不再隐藏

岁末年初，苹果加快了在大机型领域的步伐。

上个月，苹果首次推出了名为“闪存中的大语言模型：有限内存的高效大语言模型”的多模态大语言模型，其图像处理技术令人惊叹。 《推理》论文直接指的是实现大型模型和其他“内存有限”设备的方法。

进入新的一年，Siri助手将搭载生成模型Ajax的消息再次不胫而走。

在去年6月和9月的两次重要发布会上，苹果分别公布了传闻已久的XR项目和该系列的年度定期更新。 前者市场反响平平，后者则被批评挤牙膏时“卡住”。 、硅谷全在大模式，苹果官方对人工智能这个年度热词始终保持沉默。

公司首席执行官库克曾解释说，苹果计划将人工智能添加到更多产品中，但必须“深思熟虑”。

如今，或许因为一个好主意，或许因为一次技术突破，曾经被抛在后面的苹果终于不再隐藏了。

AI时刻即将到来？

Siri助手的AI转型其实早已埋下伏笔：去年7月，彭博社发表文章称，苹果正在秘密测试一款对标谷歌的生成式AI工具，暂定名为“Apple GPT”。

由于是使用JAX框架构建的，所以Apple GPT的开发框架被命名为Ajax。

当时的消息称，苹果LLM技术的最大用例是集成到Siri中，让语音助手以更智能的方式帮助用户。

现在，更多细节已经揭晓——苹果发布的一篇论文指出，这种将大型语言模型放置在闪存中来优化运行的技术，比传统的运行方式快 4-5 倍（CPU）和 20-25 倍（GPU）。 ）推理速度。

这是把大象（大型模型）放进冰箱（手机）的方法：首先减少闪存传输的数据量，然后增加每次传输的吞吐量。

我们先看一下框架：以手机为例。 购买手机时，通常是【12+256G】或【16+512G】，12/16是运行内存，256/512是存储空间。

以此类推，大多数移动设备的存储结构存储空间较小，但读取速率较高（DRAM 10GB/s）； 存储空间大，但读取速率较低（Flash 1GB/s）。

一般来说，在大型模型的推理阶段，模型加载和分析数据需要直接占用内存。 目前主流手机市场最大的16GB内存并不能完全满足大机型所需的空间：机型大小>手机内存。

苹果给出的解决方案是“首先减少闪存传输的数据量”——将整个大模型放在更大的存储空间中，只在运行时将必要的数据调用到运行内存中。

这不是一个简单的搬箱子的过程。 如何正确过滤掉所有必要的数据以及如何快速地将数据从闪存传输到操作存储器是两个需要解决的问题。

其中一种方法被命名为（滑动窗口）：

假设大模型正在处理句子“从前有一个孩子有一个梦想”。 当处理“从前有”这个字符时，图片上部的青色网格（神经元）被激活。 地位; 当处理字段变为“曾经有过”时（前进一个字符后），图下半部分启用了一个新的蓝色网格，并且删除了之前青色部分的几个网格（粉红色标记处），其余青色保持不变。

这就是中国共产党的核心思想：查短补，多退补少。 大模型运行过程中，只保留最开始激活的神经元，后续的每次操作都会根据之前的参数进行删除和添加，省去了一些重复性的工作。

当然，这个前提也不是没有问题的。 知乎博主@Civ发帖表示，可用的核心假设是大型模型在处理相邻数据时前后具有相似性，但苹果并未证明这种相似性。

接下来是传输：​​将多次传输的数据拼接起来一次读取，保持“数据”连续完整，避免多次复制拖慢时间； 另外，提前预留较大的空间（较大，但仍远小于模型整体占用），避免数据传输过程中因多次增加空间而增加设备的计算量。

此前蓝媒汇在文章中提到，限制大模型进入移动端的瓶颈是模型占用空间太大，影响设备本身的正常运行，或者可能装不进去，导致导致无法操作。

苹果新研究的许多技术细节都指向空间压缩，包括数据量和计算所需的计算能力。

赋能多模态

之前有一个笑话（可能是真的），说大型模型无法处理人机验证，因为AI被设置为不说谎，所以它不能选择“我不是机器人”。

去年10月，苹果以论文的形式发表了一项研究成果：大模型，并得到了谷歌自身的验证。

远远领先于GPT4。

不久前，苹果公布了该机型的更多细节和功能。

图/苹果机型介绍

与GPT4相比，其领先优势在于不仅能够准确识别和处理图像内容，还能利用算法区分图像中的各种元素（人、物体等），并根据用户指令找到对应的元素。

这种多模态理解能力使得能够同时处理用户输入的图像和自然语言，并且由于其算法能够精确地分割和定位图像中的元素，因此可以准确地理解诸如“图片右上角”、“附近”等内容。沙发”这样的说明。

与疯狂的自然语言处理相比，这种基于图像的交互使信息更加直观。

在最新的更新中，苹果提供了 7B 和 13B 两个版本，并创建了包含 110 万个样本的 GRIT 数据集，以丰富空间知识并进一步增强功能。

考虑到苹果相当成熟的产品生态和庞大的用户基础，人工智能的落地带来的换机潮等效益可能极其可观。

2023年被称为AI时刻，而现在，苹果的AI时刻或许即将到来。

本文来自微信公众号“爱蓝传媒慧”（ID：），作者：陶然，编辑：魏晓，36氪经授权发布。