目前多模态学习在多种领域方面取得了重要进展，但多模态模型的复杂性也增加了其受攻击的风险。过去的研究主要关注单模态模型的后门攻击，这篇论文是首次研究多模态模型的后门攻击。作者提出了一种双密钥多模态后门攻击，通过在每种输入模态中都嵌入触发器（视觉触发器采用在图像中心放置一个小方块补丁，问题触发器使用一个单词添加到问题开头），并且仅当所有触发器都存在时才会触发攻击，实现了更高的隐蔽性和攻击成功率。Walmer M, Sikka K, Sur I, et al. Dual-Key Multimodal Backdoors for Visual Question Answering[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022: 15375-15385.
这篇论文的优势是相比于传统的单后门攻击更加隐蔽，在传统的单后门中，存在用户可能意外地呈现与触发器足够相似的输入以意外地打开后门的风险，且防御方法较多，而在双密钥后门的情况下，触发器分布在多个模态中，意外发现的可能性下降，且防御方法较少，具有更高的隐蔽性，进而攻击成功率更高。其次，为了解决VQA模型后门过度依赖问题触发而忽略视觉触发的问题，提出了一种为预训练对象检测器设计的视觉触发优化策略，使用具有某些属性的自然对象作为触发器，增强触发器的语义特征，以产生保留和激发。此外，这篇论文还提供了一个包含840个干净和木马的VQA模型架构的大型数据集TrojVQA，可以方便使用。
但这篇论文是针对VQA模型架构，并且假设模型需要使用静态预训练的对象检测器作为视觉特征提取器为前提，所以不易扩展到其他多模态任务中。（为什么问题触发器不会出现被忽略的问题，可能文本具有更强烈的前后语义关系，而视频没有提取到触发器特征，就缺失没有了）
2023年12月29日
- Multimodal Backdoors Answering Dual-Key Questionmultimodal backdoors answering dual-key answering knowledge question domain dual-key backdoors multimodal question answering representation segmentation multimodal modalities exploiting cdeepfuzz backdoors naturally retrieval reasoning multi-hop answering