新型多模态表示学习方法FACTORCL

要点:

• FACTORCL是一种新的多模态表示学习方法，旨在解决对比学习在低共享或高独特信息情境中无法收集任务相关信息的问题。

• 该方法通过因子化任务相关信息为共享和独特信息，并通过最大化互信息下界获取任务相关信息，最小化互信息上界提取任务不相关信息，实现了对任务相关信息的优化学习。

• FACTORCL采用多模态增强来评估任务相关信息，使得在自监督情景中实现了任务相关性的建立，无需显式标记。

11月21日 消息:最近，研究人员推出了一种名为FACTORCL的新型多模态表示学习方法，以解决对比学习在复杂多模态背景下的局限性。现有的多模态预训练技术主要基于多视图学习，利用多视图冗余的关键前提，即通过模态间的信息交换几乎完全与随后的任务相关。

项目地址：https://github.com/pliang279/FactorCL

对比学习在真实世界中更广泛的多模态背景下存在的两个关键限制:

1. 在许多任务中存在较少的任务相关信息，使得传统多模态对比学习难以获得所需的任务相关信息。

2. 多个模态可能提供不同的任务相关信息，传统对比学习会忽略这些独特的信息，导致性能下降。为了克服这些限制，研究人员引入了FACTORCL方法，通过明确因子化共享和独特的表示，以获得适当和必要的信息内容。

该方法通过最大化互信息下界和最小化互信息上界，独立优化共享和独特信息，从而实现了对任务相关信息的最优表示。另外，FACTORCL利用多模态增强在自监督场景中估计任务相关信息，无需显式标记，提高了学习效果。在实验证明，FACTORCL在多个数据集上实现了新的最先进性能。

FACTORCL方法的基本原理，包括明确因子化共享和独特的表示，以及通过最大化互信息下界和最小化互信息上界来优化共享和独特信息的学习。

研究人员使用FACTORCL在合成数据集和真实世界多模态基准测试中进行的实验证明，包括情感、情绪、幽默、讽刺等方面的预测，以及在六个数据集上达到的最先进性能。