embeddings query2box knowledge reasoning
Rotary Position Embedding分析
1 旋转角度计算 计算公式如下，其中d为词嵌入维度， \[\theta_j=10000^{-2(j-1)/d},j\in [1,2,\ldots,d/2] \]# 计算词向量元素两两分组之后，每组元素对应的旋转角度 # 维度：[dim / 2] freqs = 1.0 / (theta ** (to ......
c: c: Eclipse IDE for Embedded C and C++ Developers - 2023-09 in Ubuntu 24.0
创建文件夹mkdir Eclipse移动文件至/usr/Eclipse 文件夹路径mv eclipse-inst-jre-linux64.tar.gz /usr/Eclipse 解压文件tar -zxvf eclipse-inst-jre-linux64.tar.gz ......
Distilling Knowledge from Graph Convolutional Networks
目录概符号说明DistillGCNLocal Structure Preserving代码 Yang Y., Qiu J., Song M., Tao D. and Wang X. Distilling knowledge from graph convolutional networks. CVP ......
c: Eclipse IDE for Embedded C and C++ Developers - 2023-09
https://www.eclipse.org/downloads/ ......
Decoupled Knowledge Distillation
目录概符号说明DKD代码 Zhao B., Cui Q., Song R., Qiu Y. and Liang J. Decoupled knowledge distillation. CVPR, 2022. 概 对普通的 KD (Knowledge Distillation) 损失解耦得到 Tar ......
[Jenkins] openEuler Embedded CI 报错及解决方案汇总
[Jenkins] CI报错及解决方案汇总 1 org.codehaus.groovy.control.MultipleCompilationErrorsException: startup failed: WorkflowScript: 24: unexpected char: '' @ line ......
nn.Embedding torch.nn.Embedding
nn.Embedding torch.nn.Embedding 随机初始化词向量矩阵：这种方式很容易理解，就是使用self.embedding = torch.nn.Embedding(vocab_size, embed_dim)命令直接随机生成个初始化的词向量矩阵，此时的向量值符合正态分布N(0, ......
[论文速览] SimCSE@ Simple Contrastive Learning of Sentence Embeddings
Pre title: SimCSE: Simple Contrastive Learning of Sentence Embeddings accepted: EMNLP 2021 paper: https://arxiv.org/abs/2104.08821 code: https://githu ......
UniKGQA Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph
目录概主要内容代码 Jiang J., Zhou K., Zhao W. and Wen J. UniKGQA: Unified retrieval and reasoning for solving multi-hop question answering over knowledge graph ......
Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text
目录概主要内容代码 Sun H., Dhingra B., Zaheer M., Mazaitis K., Salakhutdinov R. and Cohen W. W. Open domain question answering using early fusion of knowledge ......
论文阅读：Unifying Large Language Model and Knowledge Graph：A RoadMap
1 Introduction 大模型和知识图谱结合的综述。 简单介绍一下大模型和知识图谱的优缺点： 如上所示。 本文主要划分为三个模块，分别为： KG-enhanced LLMs LLM-augmented KGs Synergized LLM + KG 2 Background 主要介绍了LLM和 ......
论文阅读：Knowledge Distillation via the Target-aware Transformer
摘要 Knowledge distillation becomes a de facto standard to improve the performance of small neural networks. 知识蒸馏成为提高小型神经网络性能的事实上的标准。 Most of the previo ......
pytorch(9.7) keras-Embedding 嵌入层
https://www.tensorflow.org/text/guide/word_embeddings 将文本表示为数字 机器学习模型将向量（数字数组）作为输入。处理文本时，您必须做的第一件事是想出一种策略，将字符串转换为数字（或“矢量化”文本），然后再将其输入模型。 1独热编码 作为第一个想法 ......
Dual Graph enhanced Embedding Neural Network for CTR Prediction
目录概DG-ENN Guo W., Su R., Tan R., Guo H., Zhang Y., Liu Z., Tang R. and He X. Dual graph enhanced embedding neural network for ctr prediction. KDD, 202 ......
JavaScript Library – YouTube Embedded、YouTube Player API、YouTube Data API
YouTube Embed Video 参考: Embed videos & playlists 它和 Google Maps Embed 类似，是通过 iframe 完成的。 <iframe width="800" style="aspect-ratio: 16 / 9" src="https:/ ......
论文阅读：A Lightweight Knowledge Graph Embedding Framework for Efficient Inference and Storage
ABSTRACT 现存的KGE方法无法适用于大规模的图（由于存储和推理效率的限制） 作者提出了一种LightKG框架： 自动的推断出码本codebooks和码字codewords，为每个实体生成合适的embedding。 同时，框架中包含残差模块来实现码本的多样性，并且包含连续函数来近似的实现码字的 ......
8 Innovative BERT Knowledge Distillation Papers That Have Changed The Landscape of NLP
8 Innovative BERT Knowledge Distillation Papers That Have Changed The Landscape of NLP Contemporary state-of-the-art NLP models are difficult to be ut ......
论文阅读：iterator zero-shot llm prompting for knowledge graph construction
Abstract 知识图谱，一种相互连接和可解释的结构。 生成需要更多的人力、领域知识、并需要适用于不同的应用领域。 本论文提出借助LLM，通过0-shot和外部知识不可知的情况下生成知识图谱。 主要贡献： 迭代的prompting提取最终图的相关部分 0-shot，不需要examples 一个可扩 ......
Unbiased Knowledge Distillation for Recommendation
目录概UnKD代码 Chen G., Chen J., Feng F., Zhou S. and He X. Unbiased knowledge distillation for recommendation. WSDM, 2023. 概 考虑流行度偏差的知识蒸馏, 应用于推荐系统. UnKD M ......
Knowledge Distillation from A Stronger Teacher
目录概DIST代码 Huang T., You S., Wang F., Qian C. and Xu C. Knowledge distillation from a stronger teacher. NIPS, 2022. 概 用 Pearson correlation coefficient ......
[论文阅读] Anomaly detection via reverse distillation from one-class embedding
Anomaly detection via reverse distillation from one-class embedding Introduction 在知识蒸馏（KD）中，知识是在教师-学生（T-S）对中传递的。在无监督异常检测的背景下，由于学生在训练过程中只接触到正常样本，所以当查询是 ......
基于Jenkins的openEuler Embedded CI部署
基于Jenkins的openEuler Embedded CI部署流程 下面主要以CentOS 7系统为例，写出全流程、可能遇到的问题及解决方案。 安装Jenkins 参考链接：https://www.jenkins.io/doc/book/installing/linux/ Debian/Ubun ......
embedding是什么
部分内容参考：https://zhuanlan.zhihu.com/p/164502624 近年来，NLP自然语言处理、推荐系统，以及计算机视觉已成为目前工业界算法岗的主流方向，无论在哪个领域，对“Embedding”这个词概念的理解都是每个庞大知识体系的基石。 “Embedding”直译是嵌入式、 ......
DE-RRD: A Knowledge Distillation Framework for Recommender System
目录概DE-RRDDistillation Experts (DE)Relaxed Ranking Distillation (RRD)代码 Kang S., Hwang J., Kweon W. and Yu H. DE-RRD: A knowledge distillation framewor ......
springBoot 启动报错： If you want an embedded database (H2, HSQL or Derby), please put it on the classpath.
原因 其实这个异常在SpringBoot中是一个比较常见的异常，一般是因为SpringBoot自动配置时，检测到我们添加了MySQL、Oracle、Mybatis等和数据库相关的依赖包，结果我们的配置文件中却没有添加数据库相关的配置，比如： spring: datasource: driver-cl ......
Relational Knowledge Distillation
目录概符号说明RKD代码 Park W., Kim D., Lu Y. and Cho M. Relational knowledge distillation. CVPR, 2019. 概 符号说明 \(f_T, f_S\), teacher and student model; \(\mathc ......
SpringBoot 启动时报错Unable to start embedded Tomcat
导读 最近公司有个gradle构建的工程，需要改造成maven方式构建（点我直达）。转为maven后，启动时一直报tomcat错误，最终排查是因为servlet-api这个包导致的依赖冲突，将这个依赖排除即可启动 解决 排除依赖，检查项目是否包含：javax.servlet-api <exclusi ......
ACL2022 paper1 CAKE: A Scalable Commonsense-Aware Framework for Multi-View Knowledge Graph Completion
CAKE:用于多视域知识图谱补全的可扩展常识感知框架 ACL2022 Abstract 知识图谱存储大规模事实三元组，然而不可避免的是图谱仍然具有不完整性。（问题）以往的只是图谱补全模型仅仅依赖于事实域数据进行实体之间缺失关系的预测，忽略了宝贵的常识知识。以往的知识图嵌入技术存在无效负抽样和事实域链 ......
rabbitmq Exception (504) Reason: \"channel id space exhausted\
使用go的包：github.com/rabbitmq/amqp091-go 出现报错：get mq channel error {"error": "Exception (504) Reason: \"channel id space exhausted\""} ctx := context.Bac ......
知识图谱Knowledge Spectrum
基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关 ......