腾讯优图17篇论文入选ICCV2021，含跨模态检索与分割、车辆识别等领域计算机视觉世界三大顶会之一

计算机视觉世界三大顶会之一的ICCV 2021论文接收结果出炉！本次大会收到来自全球共6236篇有效投稿，最终有1617篇突出重围被录取，录用率约为25.9% 。此次ICCV 2021接收的论文分为检测、分割、跟踪、视觉定位、底层图像处理、图像视频检索、三维视觉等多个方向。本次腾讯优图实验室共有17篇论文被收录，其中Oral论文2篇，涵盖跨模态检索、分割、行人识别、神经网络、人群计数、车辆识别、物体识别、视频偏好推理、多标签识别等前沿领域。
以下为入选论文：
01 基于Wasserstein耦合图学习的跨模态检索
Wasserstein Coupled Graph Learning for Cross-Modal Retrieval
图在跨模态图像文本的理解中发挥着重要作用，因为图可以表征图像文本的内在结构，而这种结构对于跨模态相似性的度量具有很好的鲁棒性。在本文中，我们提出了一种基于Wasserstein耦合图学习的方法来处理跨模态检索任务。首先，我们分别根据两个输入的跨模态样本构建图，并通过相应的图编码器提取鲁棒特征。然后，构建一个Wasserstein耦合字典用于进一步的特征学习，其中该字典包含多组对应的图键值，并且每个键值对应一种模态。基于该耦合字典，可以通过Wasserstein图嵌入的方式将输入图转换到字典空间中实现相似性度量。所提出的Wasserstein图嵌入方法通过最优传输捕获输入图与每个对应键值之间的图相关性，从而可以很好地表征图之间的结构关系。为了进一步促进图的判别性学习，我们对耦合字典的图键值专门定义了一个基于Wasserstein度量的判别损失函数，该损失函数可以使对应的键值更加紧凑，非对应的键值更加分散。实验结果证明了我们所提出的方法的有效性。

文章图片

文章图片
02简笔画监督语义分割推理
Scribble-Supervised Semantic Segmentation Inference
本文提出了渐进分割推理框架(PSI)来解决简笔画监督的语义分割任务。借助于潜在的上下文依赖性，我们设计封装了上下文模式传播和语义标签传播这两条主要线索来增强并改善弱监督像素级分割结果。在上下文模式传播中，不同细粒度的上下文模式互相关联并通过图模型传递模式信息，以此来增强像素标签预测的置信推理。进一步地，依赖于已估计像素的高置信度，初始标注点的标签信息通过自适应学习策略扩散传播至图上的其他区域。上下文模式传播和语义标签传播这两条线索最终在像素级标签推理中被建模成一个闭环的更新过程。大量的实验验证了我们提出的PSI框架的有效性，同时该方法也在两个公开的简笔画分割数据集上取得了优越的性能。

文章图片

文章图片
03 深度神经网络结构解耦
Architecture Disentanglement for Deep Neural Networks
（此篇论文被收录为Oral）
理解深度神经网络的内部机理对神经网络提供可信的应用十分重要。现有的研究主要聚焦于如何将具体的语义与单神经元或单层相关联，忽略了网络的整体推理过程的解释。本文提出了神经网络解耦这个概念，旨在将具体语义与解耦的子结构相关联，从而理解网络从输入到输出的整体推理过程。本文实验揭示了神经网络可以按照任务被拆解成子结构，并且最高层语义并不一定出现在神经网络最深层。最后，本文探讨了相似子结构是导致神经网络分类错误的原因之一。