distillation innovative knowledge landscape
转载：深度学习：蒸馏Distill
转载，写的比较好了，可以参考：https://blog.csdn.net/pipisorry/article/details/117257414 Distilling the knowledge in a neural networkHinton 在论文中提出方法很简单，就是让学生模型的预测分布，来 ......
【略读论文|大模型相关】Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models
时间：2023 学校：慕尼黑大学 创新点： 1.据我们所知，这是第一个试图在TKGF背景下研究零射击关系学习的工作。 2.我们设计了一种基于llm的方法zrLLM，并设法在零射击关系推理中增强各种基于嵌入的TKGF模型。 3.实验结果表明，zrLLM有助于大大提高所有考虑的TKGF模型对包含未见零射 ......
Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods
目录概符号说明Cold Brew代码 Zheng W., Huang E. W., Rao N., Katariya S., Wang Z., Subbian K. Cold brew: Distilling graph node representations with incomplete or ......
[Codeforces] CF1740D Knowledge Cards
CF1740D Knowledge Cards 题意 有一个 \(n \times m\) 的棋盘。现在\((1,1)\)中有一个栈，你可以按照一定的顺序进行出栈操作，每次都可以移动一个卡片到一个相邻的空白位置，但是卡片不能重合。问，能否通过若干次操作，将\((1,1)\)中全部的卡片移动到\((n ......
题解 QOJ1173【Knowledge Is...】 / accoders::NOI 5681【interval】
https://qoj.ac/contest/537/problem/1173 problem 给定 \(n\leq 10^6\) 个区间，你需要求出能够最多选出多少对区间，使得两个区间不交（区间为闭区间）。要求一个区间最多属于一对选出的区间。 solution 这是一般图匹配问题的特殊情况，所以放 ......
Graph regularized non-negative matrix factorization with prior knowledge consistency constraint for drug-target interactions prediction
Graph regularized non-negative matrix factorization with prior knowledge consistency constraint for drug-target interactions prediction Junjun Zhang 1 ......
CodeForces 1901F Landscaping
洛谷传送门 CF 传送门 还是很有趣的一道题。场上直接暴拆式子，要维护动态凸包，本来以为是 \(\log^2\) 的，写着写着发现是 \(\log^3\)，遂弃。 显然梯形面积最小等价于 \(y_0 + y_1\) 最小，而 \(y_0 + y_1\) 最小等价于梯形在 \(m = \frac{n} ......
CF1901F Landscaping
题意大概就是给你 \(n\) 个点\((0, a_0), (1, a_1), \cdots, (n - 1, a_{n - 1})\) ，用一根直线 \(l\) 覆盖这些点，要求所有点都在这条直线 \(l\) 之下，设 \(y_0, y_1\) 分别为 \(l\) 与 \(x = 0, x = n ......
【略读论文|时序知识图谱补全】Tucker Decomposition with Frequency Attention for Temporal Knowledge Graph Completion
会议：ACL，时间：2023，学校：北京航空航天大学，多伦多大学 关键词：基于张量分解；频率注意力；正则化 摘要： 之前基于张量分解的TKGC模型存在仅独立考虑一种关系与一个时间戳的组合，忽略了嵌入的全局性质的问题。 本文的方法：一种频率注意力（FA）模型来捕获一个关系与整个时间戳之间的全局时间依赖 ......
【略读论文|时序知识图谱补全】Learn from Relational Correlations and Periodic Events for Temporal Knowledge Graph Reasoning
会议：SIGIR，时间：2023，学校：国防科技大学 摘要： 之前模型存在的问题：未能利用快照内结构信息的关系之间的语义相关性与快照间时间交互沿时间轴的周期性时间模式。 本文的工作：提出了一种新的推理模型（RPC）；它通过两个新的通信单元，即关系通信单元(RCU)和周期通信单元(PCU)，充分挖掘关 ......
【略读论文|时序知识图谱补全】Hierarchical Self-Atention Embedding for Temporal Knowledge Graph Completion
会议：WWW，时间：2023，学校：东北大学计算机与通信工程学院 摘要： 目前TKGC模型存在的问题：只考虑实体或关系的结构信息，而忽略了整个TKG的结构信息。此外，它们中的大多数通常将时间戳视为一般特征，不能利用时间戳的潜在时间序列信息。 本文的方法：一种基于自注意机制和历时嵌入技术的分层自注意嵌 ......
【略读论文|时序知识图谱补全】DREAM: Adaptive Reinforcement Learning based on Attention Mechanism for Temporal Knowledge Graph Reasoning
会议：SIGIR，时间：2023，学校：苏州大学计算机科学与技术学院，澳大利亚昆士兰布里斯班大学信息技术与电气工程学院，Griffith大学金海岸信息通信技术学院 摘要： 原因：现在的时序知识图谱推理方法无法生成显式推理路径，缺乏可解释性。 方法迁移：由于强化学习 (RL) 用于传统知识图谱上的多跳 ......
【略读论文|时序知识图谱补全】Adaptive Path-Memory Network for Temporal Knowledge Graph Reasoning
会议：IJCAI，时间：2023，学校：1 中国科学院计算机网络信息中心，北京 2中国科学院大学，北京 3 澳门大学智慧城市物联网国家重点实验室，澳门 4 香港科技大学(广州)，广州 5 佛罗里达大学计算机科学系，奥兰多 摘要： 提出一种新的具有TKG关联特征的体系结构建模方法，即自适应路径-记忆网 ......
【略读论文|时序知识图谱补全】Temporal Knowledge Graph Reasoning with Historical Contrastive Learning
会议：AAAI，时间：2023，学校：上海交通大学 摘要： 大多数时序知识图谱的推理方法高度依赖于事件的递归或周期性，这给推断与缺乏历史交互的实体相关的未来事件带来了挑战。本文提出一种新的基于历史对比学习训练框架的对比事件网络（CENET）的新事件预测模型。 1.CENET 学习历史和非历史依赖来区 ......
【略读论文|时序知识图谱补全】Logic and Commonsense-Guided Temporal Knowledge Graph Completion
会议：AAAI，时间：2023，学校：北京航空航天大学 文中谓词可以视为关系。 以往的TKG补全(TKGC)方法不能同时表示事件的时效性和因果关系。为了应对这些问题，作者提出了一个逻辑和尝试引导嵌入模型（LCGE ），从常识的角度共同学习涉及事件的及时性和因果关系的时间敏感表示，以及事件的时间无关表 ......
Carbon Trading Scheme——One of China’s Innovative Strategies for Addressing Global Warming
Introduction China, as the world’s largest emitter of greenhouse gases, recognizes the urgent need to tackle the global warming problem. Over the year ......
Linkless Link Prediction via Relational Distillation
目录概符号说明LLP代码 Guo Z., Shiao W., Zhang S., Liu Y., Chawla N. V., Shah N. and Zhao T. Linkless link prediction via relational distillation. ICML, 2023. 概 ......
Distilling Knowledge from Graph Convolutional Networks
目录概符号说明DistillGCNLocal Structure Preserving代码 Yang Y., Qiu J., Song M., Tao D. and Wang X. Distilling knowledge from graph convolutional networks. CVP ......
Decoupled Knowledge Distillation
目录概符号说明DKD代码 Zhao B., Cui Q., Song R., Qiu Y. and Liang J. Decoupled knowledge distillation. CVPR, 2022. 概 对普通的 KD (Knowledge Distillation) 损失解耦得到 Tar ......
UniKGQA Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph
目录概主要内容代码 Jiang J., Zhou K., Zhao W. and Wen J. UniKGQA: Unified retrieval and reasoning for solving multi-hop question answering over knowledge graph ......
Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text
目录概主要内容代码 Sun H., Dhingra B., Zaheer M., Mazaitis K., Salakhutdinov R. and Cohen W. W. Open domain question answering using early fusion of knowledge ......
论文阅读：Unifying Large Language Model and Knowledge Graph：A RoadMap
1 Introduction 大模型和知识图谱结合的综述。 简单介绍一下大模型和知识图谱的优缺点： 如上所示。 本文主要划分为三个模块，分别为： KG-enhanced LLMs LLM-augmented KGs Synergized LLM + KG 2 Background 主要介绍了LLM和 ......
论文阅读：Knowledge Distillation via the Target-aware Transformer
摘要 Knowledge distillation becomes a de facto standard to improve the performance of small neural networks. 知识蒸馏成为提高小型神经网络性能的事实上的标准。 Most of the previo ......
论文阅读：A Lightweight Knowledge Graph Embedding Framework for Efficient Inference and Storage
ABSTRACT 现存的KGE方法无法适用于大规模的图（由于存储和推理效率的限制） 作者提出了一种LightKG框架： 自动的推断出码本codebooks和码字codewords，为每个实体生成合适的embedding。 同时，框架中包含残差模块来实现码本的多样性，并且包含连续函数来近似的实现码字的 ......
8 Innovative BERT Knowledge Distillation Papers That Have Changed The Landscape of NLP
8 Innovative BERT Knowledge Distillation Papers That Have Changed The Landscape of NLP Contemporary state-of-the-art NLP models are difficult to be ut ......
论文阅读：iterator zero-shot llm prompting for knowledge graph construction
Abstract 知识图谱，一种相互连接和可解释的结构。 生成需要更多的人力、领域知识、并需要适用于不同的应用领域。 本论文提出借助LLM，通过0-shot和外部知识不可知的情况下生成知识图谱。 主要贡献： 迭代的prompting提取最终图的相关部分 0-shot，不需要examples 一个可扩 ......
Unbiased Knowledge Distillation for Recommendation
目录概UnKD代码 Chen G., Chen J., Feng F., Zhou S. and He X. Unbiased knowledge distillation for recommendation. WSDM, 2023. 概 考虑流行度偏差的知识蒸馏, 应用于推荐系统. UnKD M ......
Knowledge Distillation from A Stronger Teacher
目录概DIST代码 Huang T., You S., Wang F., Qian C. and Xu C. Knowledge distillation from a stronger teacher. NIPS, 2022. 概 用 Pearson correlation coefficient ......
[论文阅读] Anomaly detection via reverse distillation from one-class embedding
Anomaly detection via reverse distillation from one-class embedding Introduction 在知识蒸馏（KD）中，知识是在教师-学生（T-S）对中传递的。在无监督异常检测的背景下，由于学生在训练过程中只接触到正常样本，所以当查询是 ......
DE-RRD: A Knowledge Distillation Framework for Recommender System
目录概DE-RRDDistillation Experts (DE)Relaxed Ranking Distillation (RRD)代码 Kang S., Hwang J., Kweon W. and Yu H. DE-RRD: A knowledge distillation framewor ......