微软想让Windows成为人工智能操作系统,推出Copilot+ PC
微软希望将生成式人工智能带到 Windows 以及运行它的 PC 的最前沿。
在本周举行的年度 Build 开发者大会的两场主题演讲中,微软发布了一系列新的 Windows 设备,称为 Copilot+ PC,以及 Recall 等生成式 AI 功能,帮助用户查找过去查看过的应用程序、文件和其他内容。Copilot 是微软的生成式 AI 品牌,很快将更深入地融入 Windows 11 体验。微软的新款 Surface 设备也即将面世。
我们在这里汇总了周一和周二的所有重大公告。
Windows Volumetric Apps
微软正在将Windows Volumetric Apps(基本上是空间感知的交互式 VR 应用程序)引入 Meta Quest 耳机。微软表示,通过与 Meta 的合作,它将为 Quest 耳机提供 Windows 365 和本地 PC 连接,使开发人员能够将他们的应用程序扩展到 3D 空间。
图片来源:微软在周二的主题演讲中,微软从 Meta Quest 3 耳机的角度展示了 Xbox 控制器的数字分解 3D 视图——佩戴者可以用手操纵的数字对象。 “我们正在深化与 Meta 的合作关系,以使 Windows 在 Quest 设备上提供一流的体验,”微软 Windows 和设备首席副总裁 Pavan Davuluri 在演示中表示。
开发人员可以 注册预览版 以获取对 Microsoft 新体积 API 的访问权限。
Copilot+ PC
图片来源:微软Copilot+ PC 是微软对 AI 优先的旗舰 Windows 硬件的愿景。所有这些都包含称为 NPU 的专用芯片,用于为 Recall 等人工智能体验提供支持。它们至少配备 16GB RAM,搭配 SSD 存储。
首批 Copilot+ 电脑将搭载高通的 Snapdragon X Elite 和 Plus 芯片,微软声称这些芯片可提供长达 15 小时的网页浏览时间和 20 小时的视频电池续航时间。芯片制造商英特尔和 AMD 也致力于与宏碁、华硕、戴尔、惠普、联想和三星等一系列制造商合作,为 Copilot+ 设备制造处理器。
Copilot+ PC 起价为 999 美元,部分产品现已开始预订。
Surface Pro 和 Surface 笔记本电脑
微软新推出的 Surface 设备 Surface Laptop 和 Surface Pro 重点关注性能和电池。
图片来源:微软最新的 Surface Laptop 配备 13.8 英寸或 15 英寸显示屏,经过重新设计,具有“现代线条”和更薄的屏幕边框。该公司表示,它一次充电可持续使用长达 22 小时,比 Surface Laptop 5 快 86%。它还支持 Wi-Fi 7 并具有触觉反馈触摸板。
图片来源:微软至于新款 Surface Pro,微软表示它比上一代 Surface Pro(Surface Pro 9)速度提升了 90%,并且配备了带有 HDR 显示屏的新型 OLED、Wi-Fi 7(以及可选的 5G)和升级超广角前置摄像头。此外,其可拆卸键盘(已用额外的碳纤维加固)现在具有触觉反馈。
Recall
Windows 11 即将推出的 Recall 功能可以“记住”用户几周甚至几个月前在 PC 上访问过的应用和内容,例如帮助他们找到他们正在讨论他们打算购买的衣服的 Discord 聊天。用户可以使用 Recall 的时间线“回滚”以查看他们最近正在处理的内容,并深入研究 PowerPoint 演示文稿等文件以显示可能与他们的搜索相关的信息。
微软表示,Recall 可以在颜色、图像等之间建立关联,让用户能够用自然语言在电脑上搜索几乎任何内容(与初创公司Rewind 的技术类似);开发人员将能够通过向其应用添加上下文信息来改进 Recall。微软声称,与 Recall 相关的所有用户数据都是保密的,并且只保存在设备上——重要的是,不会用于训练 AI 模型。
以下是微软的更多内容:“你的快照是你的;它们保留在您的本地电脑上。您可以删除单个快照,在“设置”中调整和删除时间范围,或者直接通过任务栏上系统托盘中的图标随时暂停。您还可以过滤应用程序和网站,使其不被保存。”
图像编辑和实时翻译
现在,Windows 中的人工智能比以往任何时候都多,其中一些仅在新的 Copilot+ PC 上使用。
一项名为“超分辨率”的新功能可以通过自动放大旧照片来恢复旧照片。 Copilot 现在可以分析图像,为用户提供创意构图的想法。通过名为 Cocreator 的功能,用户可以生成图像,并要求人工智能模型遵循他们所绘制的内容来更改或重新设计图像。
图片来源:微软在其他地方,带有实时翻译的实时字幕可以将通过 PC 传输的任何音频(无论是来自 YouTube 还是本地文件)翻译成用户选择的语言。实时翻译最初将支持大约 40 种语言,包括英语、西班牙语、普通话和俄语。
Microsoft Edge 中的一项独立但相关的新功能可在 LinkedIn、YouTube、Coursera、路透社、CNBC、彭博社等网站上提供实时视频翻译。该功能将于不久的将来推出,支持将西班牙语翻译成英语,以及将英语翻译成德语、印地语、意大利语、俄语和西班牙语,并通过配音和字幕实时翻译口语内容。
Team Copilot和扩展
Team Copilot是 Microsoft 不断发展的 Copilot 生成人工智能技术套件的最新扩展。它与公司的视频会议应用程序 Teams 集成,以帮助管理会议议程并记录会议中的任何人都可以共同撰写的笔记。它还扩展到 Microsoft 的协作和规划平台 Loop 和 Planner,用于创建和分配任务、跟踪截止日期并在需要时通知团队成员。
图片来源: GitHub/微软在与 Copilot 相关的新闻中,微软推出了(私人预览版)Copilot Extensions,允许开发人员使用第三方应用程序和技能扩展 GitHub 的代码生成工具 GitHub Copilot。发布合作伙伴包括 DataStax、Docker 和 LambdaTest;扩展将存在于 GitHub Marketplace 中,但开发人员也可以创建自己的私有扩展以与其内部系统和 API 集成。
Windows Copilot Runtime
图片来源:微软为 Recall 和 Super Resolution 等功能提供支持的是 Windows Copilot Runtime,它是大约 40 个生成式 AI 模型的集合,构成了微软所称的 Windows 的“新层”。与语义索引(单个 Copilot+ PC 本地的基于矢量的系统)相结合,Windows Copilot Runtime 允许生成式 AI 驱动的应用程序(包括第三方应用程序)无需互联网连接即可运行。
Davuluri 周二表示:“[运行时] 包括可立即使用的 AI API,例如 Studio Effects、Live Captions 翻译、OCR、带有用户活动的 Recall 等,这些功能将于 6 月份向开发人员提供。”
微软表示,TikTok 所有者字节跳动推出的热门视频编辑器 CapCut 将使用 Windows Copilot Runtime 和随附的新 Windows Copilot Library(一组 API 和 AI 开发工具)来加速其 AI 功能。Meta 将向 WhatsApp 添加上述 Studio Effects,以在视频通话期间提供背景模糊和眼神交流等功能。
升级的机器人构建器
Azure AI Studio 是微软 Azure OpenAI 服务中的工具集 ,它允许客户组合 AI 模型并构建一个“推理”该数据的应用程序,很快它将允许开发人员使用按需付费推理 API 创建应用程序——开发人员可以通过这些 API 访问和微调托管在 Azure 基础设施上的生成 AI 模型。微软称之为“模型即服务”,并将首先推出来自 Nixtla 和 Core42 的模型。
在相邻的 Copilot Studio 产品套件中,微软正在推出 Copilot 代理,该公司将其描述为人工智能机器人,可以“独立编排针对特定角色和功能定制的任务”。 (Copilot Studio 提供了将Copilot for Microsoft 365 (Excel 和 Word 等应用程序中由 AI 驱动的“副驾驶”)连接 到第三方数据的工具。)利用内存和上下文知识,Copilot 代理可以导航各种类型的业务工作流程、从用户反馈中学习,并在遇到不知道如何处理的情况时寻求帮助。
骁龙开发套件
图片来源:微软高通推出了一款新的开发套件,旨在帮助开发人员为 Arm 芯片封装的 Copilot+ PC 构建应用程序
售价 899.99 美元的 Windows Snapdragon 开发套件——顺便说一句,其宽度、高度和长度与苹果 Mac Mini 大致相同——配备了高通 Snapdragon X Elite 芯片,配备 32GB RAM、512GB 存储和大量 I/O。该开发套件支持 Wi-Fi 7 和蓝牙 5.4,并且通过其各种 USB-C 和 HDMI 端口,它可以同时驱动最多三台 4K 显示器。
Φ3
微软宣布其生成式人工智能模型系列 Phi 的新成员 Phi-3-vision,可以执行一般的视觉分析和推理任务,例如回答有关图表和图像的问题。该模型可以读取文本和图像,并且足够高效,可以在移动设备上运行。
Phi-3-vision 现已推出预览版,而该模型之前宣布的纯文本版本——Phi-3-mini、Phi-3-small 和 Phi-3-medium——现已全面上市。
与可汗学院合作
微软正在与可汗学院合作,捐赠云计算基础设施的访问权限,使可汗学院能够向美国的教育工作者免费提供可汗学院的人工智能工具。微软周二表示,两家公司还将合作探索通过生成人工智能改进数学辅导人工智能应用程序的机会。