Modalities
《OneLLM: One Framework to Align All Modalities with Language》论文学习
一、Abstract 随着LLM的兴起，由于其强大的语言理解和推理能力，在学术和工业界中越来越受欢迎。LLM的进展也启发了研究人员将LLM作为多模态任务的接口，如视觉语言学习、音频和语音识别、视频理解等，因此多模态大语言模型(Multimodal Large Language Model， MLLM ......
《X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages》论文学习
《X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages》论文学习 ......
《ChatBridge: Bridging Modalities with Large Language Model as a Language Catalyst》论文学习
一、Abstract 构建能够感知现实世界多种模态信信号，并解决各种任务的通用模型，是人工智能领域一个吸引人的目标。 在本文中，我们介绍了ChatBridge，这是一个新颖的多模态语言模型，它利用语言的表达能力作为催化剂，来弥合不同模态之间的差距。我们证明，只需要使用双模态的语言配对数据（image ......
M3AE: Multimodal Representation Learning for Brain Tumor Segmentation with Missing Modalities
摘要 提出SimCLR，用于视觉表征的对比学习，简化了最近提出的对比自监督学习算法，为了理解是什么使对比预测任务能够学习有用的表示，系统研究了提出框架的主要组成部分，发现： （1）数据增强的组成在定义有效的预测任务中起着关键的作用 （2）在表示和对比损失之间引入一个可学习的非线性变换，大大提高了已学 ......