Embedding
LLM Sentence Embedding向量化相似性搜索技术初探
一、向量表示对ML/AI的意义 0x1：向量是AI理解世界的通用数据形式 1、向量是多模态高维数据的压缩 当我们见到一个熟悉的人或物的时候，大脑是这样思考的：首先，眼睛中的视杆细胞和视锥细胞记录下光的强度。这些信号传递到位于你大脑后方的视觉皮层，在皮层中数以百万计的神经元以不同的强度被激活。激活信号 ......
2023ICLR_Embedding fourier for ultra-high-definition Low-light image enhancement
1. # narrow切片 x1, x2 = (x.narrow(1, 0, self.split_len1), x.narrow(1, self.split_len1, self.split_len2)) 假设输入的张量是x，那么这句代码的作用是将x在第1维（即行数）上分别切割为两个长度分别为se ......
Graph Embedding：LINE算法
背景 如上图所示，结点6和7是相邻结点，他们应该是相似结点，结点5和6虽然不是相邻结点，但是它们有共同的相邻的结点，因此它们也应该是相似结点。 基于词观察，LINE算法提出了一阶相似性算法和二阶相似性算法 First-order 我们首先如如下公式来计算结点i和j的联合概率分布： 其中ui，uj分 ......
经典的Graph Embedding方法：DeepWalk 和 Node2vec
DeepWalk Deep Walk，它是 2014 年由美国石溪大学的研究者提出的。它的主要思想是在由物品组成的图结构上进行随机游走，产生大量物品序列，然后将这些物品序列作为训练样本输入 Word2vec 进行训练，最终得到物品的 Embedding Node2vec 2016 年，斯坦福大学的研 ......
中文环境下使用 huggingface 模型替换 OpenAI的Embedding 接口
OpenAI的文本嵌入衡量文本字符串的相关性。嵌入通常用于：搜索（其中结果按与查询字符串的相关性排名） 聚类（其中文本字符串按相似性分组） 推荐（推荐具有相关文本字符串的项目） 异常检测（识别出相关性不大的异常值） 多样性测量（分析相似性分布） 分类（其中文本字符串按其最相似的标签分类）嵌入是浮点数 ......
【AIGC】Embedding与LLM的结合：长文本搜索与问答功能
什么是Embedding？ Embedding是一种多维向量数组，由一系列数字组成，可以代表任何事物，如文本、音乐、视频等。在这里我们将重点关注文本部分。Embedding之所以重要，是因为它让我们可以进行语义搜索，也就是通过文本的含义进行相似性检索。 为什么Embedding在AI中如此重要？ E ......
Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding
Tang J. and Wang K. Personalized top-n sequential recommendation via convolutional sequence embedding. WSDM, 2018. 概 序列推荐的经典之作, 将卷积用在序列推荐之上. 符号说明 $\ma ......
NLP 中 Embedding（词嵌入） 和 Tokenizer（分词器） 分别是什么？
NLP 中 Embedding（词嵌入） 和 Tokenizer（分词器） 分别是什么？ Embedding（词嵌入）和Tokenizer（分词器）是在自然语言处理中常用的两种技术，用于将文本转换为计算机可以处理的数字表示。 Tokenizer（分词器） 是将文本转换为单词或子词序列的过程。在自然语 ......
openAI cookbook - embedding
https://github.com/openai/openai-cookbook Embedding是什么意思就不说了 基于大模型的Embedding本身是包含比文本更多的内涵的，因为包含了大量的相关性 但Embedding怎么用，基本逻辑是文本相似性 所以Semantic search是最简单的 ......
Attributed Graph Clustering |A Deep Attentional Embedding Approach
论文阅读01-Attributed Graph Clustering: A Deep Attentional Embedding Approach 1. 创新点idea Two-step的图嵌入方法不是目标导向的，聚类效果不好，提出一种基于目标导向的属性图聚类框架。 所谓目标导向，就是说特征提取和聚 ......
Facebook 《Embedding-based Retrieval in Facebook Search》
背景 这是Facebook应用在社交搜索召回上的一篇论文，与传统搜索场景(google,bing)不同的是，fb这边通常需要更加考虑用户的一些画像，比如位置，社交关系等。举个例子：fb上有很多John Smith，但用户使用查询“John Smith”搜索的实际目标人很可能是他们的朋友或熟人。 或者 ......
OpenAI.Embedding 接口参数说明
引言：对于接口，不了解参数含义，就不知道它能咋用？而了解参数的含义最好有例子，基于这个认知，整理了OpenAI几个主要API的接口参数说明。 OpenAI的Embeddings接口主要用于将自然语言文本转换为向量表示，以便计算机可以更轻松地对文本进行处理和分析。 这些向量表示可以捕捉到文本中的语义和 ......
Divide and Conquer: Towards Better Embedding-based Retrieval for Recommender Systems From a Multi-task Perspective
Zhang Y., Dong X., Ding W., Li B., Jiang P. and Gai K. Divide and Conquer: Towards better embedding-based retrieval for recommender systems from a mul ......
Difformer: Empowering Diffusion Models on the Embedding Space for Text Generation
Gao Z., Guo J., Tan X., Zhu Y., Zhang F., Bian J. and Xu L. Difformer: Empowering diffusion models on the embedding space for text generation. arXiv p ......
openai的Embedding训练模型及适合的场景
OpenAI Embedding 是一种用于生成文本嵌入向量的 API，OpenAI 目前提供了以下三种训练模型： text-embedding-001：该模型是基于大规模语料库训练的通用文本嵌入模型，可以用于各种自然语言处理任务，如语义相似度计算、分类、聚类等。 davinci：该模型是基于 GP ......
Pytorch之Embedding与Linear的爱恨纠葛
最近遇到的网络模型许多都已Embedding层作为第一层，但回想前几年的网络，多以Linear层作为第一层。两者有什么区别呢？ ......
TIE: A Framework for Embedding-based Incremental Temporal Knowledge Graph Completion 增量时序知识图谱补全论文解读
论文网址：https://dl.acm.org/doi/10.1145/3404835.3462961 Arxiv：https://arxiv.org/abs/2104.08419 论文提出一种用增量学习思想做时序知识图谱补全（Temporal Knowledge Graph Completion, ......