魔搭社区与vLLM和FastChat展开合作 提供高效LLM推理和部署服务

12月29日 消息:最近，魔搭社区与 vLLM 和 FastChat 展开合作，联合为中国开发者提供更快更高效的 LLM 推理和部署服务。开发者可以使用 vLLM 作为 FastChat 中的推理引擎，提供高吞吐量的模型推理。

FastChat 是一个开放平台，用于训练、服务和评估基于 LLM 的 ChatBot。它具有优秀的大语言模型训练和评估代码，并且具有 Web UI 和 OpenAI 兼容的 RESTful API 的分布式多模型服务系统。

vLLM 是一个由加州伯克利分校、斯坦福大学和加州大学圣迭戈分校的研究人员开发的 LLM 服务系统。它基于操作系统中经典的虚拟缓存和分页技术，实现了几乎零浪费的 KV 缓存，并且可以在请求内部和请求之间灵活共享 KV 高速缓存，从而减少内存使用量。

通过 FastChat 和 vLLM，开发者可以快速加载魔搭的模型进行推理。可以使用 FastChat 发布 model worker （s），并通过命令行客户端或网页端 WebUI 进行问答。还可以结合 FastChat 和 vLLM 搭建一个网页 Demo 或者类 OpenAI API 服务器。

FastChat开源链接:

https://github.com/lm-sys/FastChat

vLLM开源链接:

https://github.com/vllm-project/vllm

新鲜AI产品点击了解：https://top.aibase.com/