苹果开发出新款AI：可"看懂"屏幕内容并语音回复

4月2日消息， 据媒体报道，苹果公司近日宣布，成功研发出一款前沿的人工智能系统——ReALM（Reference Resolution As Language Modeling，即基于语言建模的参考解析）。

据悉，该系统具备卓越能力，能够精准解析屏幕上模糊的内容，同时深入理解相关对话及背景环境，从而为用户提供更为自然流畅的语音助手交互体验。

ReALM系统通过运用大语言模型技术，巧妙地将识别屏幕视觉元素这一复杂任务转化为纯语言处理问题。 这一创新转换使得ReALM在性能上相较于传统技术实现了质的飞跃。

值得一提的是，ReALM的独特之处在于其能够重新构建屏幕内容。通过深入分析屏幕上的信息及其位置分布，系统能够生成精准的文本表示，这对于捕捉视觉布局中的关键信息至关重要。