图像向量化_向量存储以及向量搜索和匹配-526互联

图像数据向量化

PyTorch
  pip install -i

transformers
   transformers包又名pytorch-transformers或者pytorch-pretrained-bert。
   它提供了一些列的STOA模型的实现，包括(Bert、XLNet、RoBERTa等)
    pytorch_model.bin


pip install sentence-transformers
    该框架基于 PyTorch 和 Transformers
	一种是直接使用，
	另一种是在自己的数据集上fine-tune
	零开始创建一个SentenceTransformers模型

文件说明

01.下载模型到本地
 第一个是配置文件；config.json。
 第二个是词典文件，vocab.json。
 第三个是预训练模型文件，如果你使用pytorch则保存pytorch_model.bin文件，如果你使用tensorflow 2，则保存tf_model.h5
02.加载代码修改
  from sentence_transformers import SentenceTransformer
  model = SentenceTransformer('/data/pretrained_model/all-MiniLM-L6-v2')

CLIP

CLIP(Contrastive Language-Image Pre-Training，以下简称 CLIP) 模型

How to choose a Sentence Transformer for Semantic Search?

零样本图像分类任务(Zero-shot Image Classification, ZS-IMGC),是指分类未在训练集中出现的类别的图像

参考

https://github.com/qhduan/notebook_gist/blob/master/opensearch.ipynb 
https://huggingface.co/sentence-transformers
https://github.com/UKPLab/sentence-transformers
https://opensearch.org/docs/latest/
https://opensearch.org/docs/latest/install-and-configure/install-opensearch/docker/
https://opensearch.org/docs/latest/search-plugins/knn/approximate-knn/
https://weaviate.io/blog/how-to-choose-a-sentence-transformer-from-hugging-face
 训练一个SentenceTransformer模型 https://zhuanlan.zhihu.com/p/563844192
 sentence_transformers模型无法直接下载的解决方案 https://blog.csdn.net/PolarisRisingWar/article/details/126991633
huggingface transformers预训练模型如何下载至本地，并使用？https://zhuanlan.zhihu.com/p/147144376