摘掉虚拟人的“商业面孔”，DreamTalk开启机遇

摘掉虚拟人的“商业面孔”，DreamTalk开启机遇

乘着大规模人工智能模型的春风，元宇宙概念时期兴起的虚拟数字人再次流行。 结合人工智能自然语言大规模模型，利用3D动画、动作捕捉等技术，可以移动、说话的虚拟人现在拥有了“大脑”。

有了AI赋能后，原本可以用文字和语音输出内容的虚拟人在与外界交互时变得更加智能，输出内容的丰富性和专业性也提升了一个档次。 更重要的是，人工智能在生产层面提高了虚拟人的生产力。

2023年，加入人工智能元素的各类虚拟人将广泛应用于内容直播、直播等场景，成为电商和短视频博主的新宠。

然而，缺点总是存在的。 模拟虚拟人的表情、声音、动作仍然可以被认为是机器般的，但其自然度和真实度却远远不能与人体相比。 一些开发者正在尝试使用大型AI模型来弥补虚拟数字人的这一缺点，这就是解决方案之一。

这个基于扩散模型的框架由阿里巴巴、清华大学和华中科技大学联合开发。 从“头”开始，不仅可以让虚拟替身说话、唱歌，还能模仿表情变化、同步嘴型。

该框架最近开源，有望为虚拟人类注入“情感”。

01 丰富虚拟人物的语音表达‍‍‍‍

绝活就是只用一张头像图片就能让脸部动起来。 有了语音输入，说话就不成问题了。 它还可以匹配嘴型和表情，然后生成头部说话的视频。

拟人化始于“学”。 基于大模型框架，可以从输入的语音和肖像中学习和推断表情风格，从而生成个性化的表情视频。 即使使用相同的声源，化身也可以表现出愤怒、快乐、悲伤、轻蔑等不同的情绪，并用相应的面部表情来表达。

支持多种字符表达

这种模拟人类表情的解决方案再次为虚拟人的制作过程增添了工具。 毕竟，情感是当前虚拟人最缺乏的表现力。

有喜悦、有愤怒、有泪水、有微笑。 人类的喜怒哀乐等喜怒哀乐总是首先表现在脸上，然后通过语言来表达态度。 而各种总想模仿人类的虚拟人，都长着一张“商业脸”。 表情符号要么是“微笑”，要么是“装酷”。 不能有更多的情感。 虽然机器人声音有各种口音，但仍然能让人认出机器的感觉。

今年年初，小冰启动了“GPT克隆计划”，将人工智能与虚拟人结合起来。 由此产生的AI克隆网红“半藏森林”上线后备受关注，但其僵硬的表情也让不少人吐槽体验不佳。

近日，小冰的克隆人已经在淘宝旗舰店上线，但面部僵硬的问题依然存在。 有买家评价：“视频通话真是假的，和博主的半毛钱无关。”

中国传媒大学发布的一项调查显示，对于不同类型的虚拟数字人，公众对外表、性格、技术能力、服务能力的期望存在明显差异：超过60%的用户最关心的是虚拟数字人的形象。虚拟偶像的外貌和作品方面，66%的用户关注虚拟主播的主持风格，50%的用户认为虚拟从业人员最看重的是技术服务和跨界合作能力。

随着虚拟人通过直播等方式进入与人类交互的场景，虚拟人的个性化需求正在发展。 尤其是大型AI模型出现后，解决虚拟人的情绪甚至情绪的解决方案将成为一个独立的赛道。

开发者之一的阿里巴巴此前已申请了“对话内容生成、虚拟对话及对话内容数据处理方法”的专利。 摘要表明，该应用通过构建情感关联图，可以深入了解触发对话情感的具体关键词，从而通过情感关键词预测目标关键词，在对话回复内容中有效展现同理心，从而实现共情对话。 提高对话内容生成的准确性。

进入2024年，市场对虚拟人的需求不再只是会说话、会动，更要实现其“情感价值”。

02 AI赋予“大脑”以“情感”

类似人工智能的解决方案可以通过声音和图像来适应情感，有望丰富虚拟人的“表情符号”，也为虚拟人的制作带来便捷的工具。

从技术上来说，虚拟人有机会借助AI模拟工具摆脱真人驾驶的限制。

在“算法驱动”的虚拟人出现之前，虚拟人应用的实现往往是由真人驱动的。 这就是我们常说的“人在中间”，即用真人通过动作捕捉设备捕捉身体、眼睛、动作等，然后进行驱动和渲染。 一般来说，其生产周期较长，成本较高。

华联AI创始人刘伟曾表示，只有实现虚拟人的快速生成，解决低成本海量复制和高频内容生产两大难题，摆脱人类的束缚，虚拟人能否具有普遍的商业价值？

“算法驱动”的虚拟人可以自主学习模型说话时的嘴唇动作、表情、声音、姿势和动作。 不仅不需要真人参与，还可以实现更快的渲染，降低制作成本。 因此，这种技术方法更适合虚拟人的大规模生产。

在用户体验方面，智能情感生成将有效提升虚拟人交互能力。

目前，陪伴式虚拟人应用有很多。 其中一款名为“虚拟伴侣”APP，在海外拥有数百万日常用户。 自去年8月以来，这款应用的下载量一直在高位徘徊，长期占据美国Play娱乐应用下载榜前十的位置。 除美国外，我们在新西兰、英国、加拿大、澳大利亚等发达市场也取得了不错的成绩。

虚拟人专注于“聊天”

然而，目前大多数专注于陪伴场景的虚拟人应用在情感交互方面都比较单一。 以此为例。 里面的所有虚拟人物都以静态图片的形式出现在聊天背景中。 唯一的互动方式是语言，主要目的是“聊天”。

随着AI技术的突破性发展，此类应用绝不是虚拟伴侣产品的最终形态。 它们将作为一种过渡形式，解决数字人情感表达的解决方案有望为虚拟人注入“灵魂”，成为虚拟人产品的一场革命。 性机会。

本文来自微信公众号“元宇宙旭日”（ID：），作者：木木，36氪经授权发布。