NVIDIA RTX显卡AI推理提速5倍！RTX PC轻松在本地搞定大模型

正在举行的微软Iginte全球技术大会上，微软发布一系列AI相关的全新优化模型、开发工具资源，帮助开发者更深入地释放硬件性能，拓展AI场景。

尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说，微软这次送上了一份大礼包， 无论是面向OpenAI Chat API的TensorRT-LLM封装接口，还是RTX驱动的性能改进DirectML for Llama 2，以及其他热门大语言模型(LLM)，都可以在NVIDIA硬件上获得更好的加速和应用。

其中， TensorRT-LLM是一款用于加速LLM推理的库，可大大提升AI推理性能，还在不断更以支持越来越多的语言模型，而且它还是开源的。

就在10月份，NVIDIA也发布了面向Windows平台的TensorRT-LLM，在配备RTX 30/40系列GPU显卡的台式机、笔记本上，只要显存不少于8GB，就可以更轻松地完成要求严苛的AI工作负载。