文本向量化

发布时间 2023-11-28 18:03:58作者: 黑逍逍

 

词袋模型,词嵌入等等等等。都需要构建词汇表,个人能力是很有限,根本不可能构建一个效果好的。所以我不使用这些

小型效果也不好,得到96维度的向量。

 

直接使用dmis-lab/biobert-v1.1

地址:dmis-lab/biobert-v1.1 · Hugging Face

# Load model directly
from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("dmis-lab/biobert-v1.1")
model = AutoModel.from_pretrained("dmis-lab/biobert-v1.1")

 

 

结果是三维的

 在通过torch.max min mean等进行降维