为了增强CLIP在图像理解和编辑方面的能力，上海交通大学、复旦大学、香港中文大学、上海人工智能实验室、澳门大学以及MThreads Inc.等知名机构共同合作推出了Alpha-CLIP。这一创新性的突破旨在克服CLIP的局限性，通过赋予其识别特定区域（由点、笔画或掩码定义）的能力。Alpha-CLIP不仅保留了CLIP的视觉识别能力，而且实现了对图像内容强调的精确控制，使其在各种下游任务中表现出色。
Alpha-CLIP在精确的图像理解和编辑方面取得了显著的进展，能够在不改变图像内容的情况下识别特定区域。引入alpha通道的概念，该通道保留了上下文信息，使得Alpha-CLIP相对于其他区域感知方法更具优势，提高了图像识别的能力。
https://avoid.overfit.cn/post/c9ff16d4e2c4443c9ebf44363dfc50ab