Stability AI今年首个大型模型：专门编写的代码，支持18种编程语言

Stability AI今年首个大型模型：专门编写的代码，支持18种编程语言

新年首个AI大模型来了！

它被称为 Code 3B，有 27 亿个参数，专为编写代码而设计。

代码3B可以理解和处理18种不同的编程语言，上下文长度为100K token。

而且对硬件要求较低，可以在Air等普通笔记本电脑上离线运行。

性能方面，Code 3B比7B小60%，但性能却相差较大。

在评估中，Code 3B 在包含多种编程语言的 -E 数据集上与类似大小的模型相比实现了 SOTA 性能。

代码3B刚刚上线，有网友反映已经在插件中使用：

效果非常好！ 它体积小，兼容各种硬件，运行速度非常快。

代码 3B 是什么样的？

此前，AI已于去年8月发布了第一代版本Code Alpha 3B。 Code 3B是其进化版本。 不过，开发团队表示，Code 3B是第一个主要版本，基于LM 3B基本模型并添加了一些附加功能。

其中包括支持中间填充 (FIM) 等新功能，以及使用 RoPE（旋转位置嵌入）方法将上下文长度从 16,000 个 token 扩展到 1 个 token。

Code 3B的整体架构与LLaMA类似，是使用Flash 2算法的仅解码器模型。

支持以下18种编程语言：

C、CPP、Java、、CSS、Go、HTML、Ruby、Rust、、Shell、Php、Sql、R、、、-Clean、

下面是性能比较的补充。

面对两倍多大小的7B，Code 3B的性能几乎与其持平，在CPP和CPP语言中甚至略胜一筹。

在类似尺寸的型号中，Code 3B 脱颖而出。

但也有抱怨

虽然《Code 3B》收获了一波好评，但不少网友认为“没有太多新东西”、“不太好”。

另外，它只支持英语和编程语言，这让大家有点失望。

你怎么看呢？

参考链接：

[1]

[2]

本文来自微信公众号“量子位”（ID：），作者：西峰，36氪经授权发布。