在数字时代，视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务，不仅需要视觉和听觉信号的整合，还需要处理上下文的时间序列的能力。本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。论文设计了两个分支，即视觉语言分支和音频语言分支，分别将视频帧和音频信号转换为与llm文本输入兼容的查询表示。
video - llama结合了视频中的视觉和听觉内容，可以提高语言模型对视频内容的理解。他们提出了一个视频Q-former来捕捉视觉场景的时间变化，一个音频Q-former来整合视听信号。该模型在大量视频图像标题对和视觉指令调优数据集上进行训练，使视觉和音频编码器的输出与LLM的嵌入空间对齐。作者发现video - llama展示了感知和理解视频内容的能力，并根据视频中呈现的视觉和听觉信息产生有意义的反应。
完整文章：