pre-training graphprompt downstream unifying
《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记
代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
Cisco Unified Communications Manager (CallManager) 15.0 - 统一通信与协作
Cisco Unified Communications Manager (CallManager) 15.0 - 统一通信与协作 思科统一通信管理器 (CallManager) 请访问原文链接：https://sysin.org/blog/cisco-ucm-15/，查看最新版。原创作品，转载请保 ......
GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读
背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量文本上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 ......
Open-World Object Manipulation using Pre-trained Vision-Language Models
概述 提出MOO: Manipulation of Open-World Objects 用预训练的VLM在图像中标记instruction的object的坐标，传入policy进行控制，可以zero-shot泛化到novel object，还支持手指、点击输入指令。 问题 机器人泛化到训练中没有见 ......
PANE-GNN Unifying Positive and Negative Edges in Graph Neural Networks for Recommendation论文阅读笔记
Abstract 目前利用GNN的推荐系统主要关注用户的正面反馈，而忽略了负面反馈提供的见解。于是我们提出了PANG- GNN，该模型将图神经网络的正面和负面边统一在一起。PANG-GNN首先将原始评分图根据正面和负面反馈划分为两个不同的二分图。接下来分别使用两个独立的嵌入，即感兴趣嵌入和无兴趣嵌入 ......
【论文阅读笔记】【多模态-Vision-Language Pretraining】 BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
BLIP ICML 2022 (Spotlight) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 在视觉-语言预训练（VLP）中，如何更加高效地利用充斥着噪声的海量图文对数据，提升预训练效果？ 如何设计模型，使得预训练后的模型在理解（understanding-based）任务 ......
[论文阅读] A unified model for multi-class anomaly detection
A unified model for multi-class anomaly detection 1 Introduction 现有方法[6, 11, 25, 27, 48, 49, 52]建议为不同类别的对象训练单独的模型，就像图1c中的情况一样。然而，这种一类一模型的方案可能会消耗大量内存，尤 ......
【论文阅读笔记】【多模态-Referring & Grounding】 Grounded Language-Image Pre-training
GLIP CVPR 2022 (Oral, Best Paper Finalist) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 如何将视觉-语言预训练技术应用在以目标检测为代表的 fine-grained image understanding 上面？ 如何在增加训练数据的同 ......
GLIP:Grounded Language-Image Pre-training
Grounded Language-Image Pre-training 目录Grounded Language-Image Pre-training简介摘要Introduction统一的损失函数方法总结参考资料 GLIPv1: Grounded Language-Image Pre-trainin ......
Leveraging Pre-trained Large Language Models to Construct and UtilizeWorld Models for Model-based Task Planning
0 Abstract 将LLM直接作为planner的方法实用性不足的几个原因：plan的正确率有限，严重依赖于feedback（与sim或者真实环境的交互），利用人类feedback的效率低下。 作者在两个IPC域和一个Household域证实了GPT-4可以用来生成高质量的PDDL模型（执行超过 ......
TensorFlow-深度学习预训练模型的使用方法讲解（TensorFlow-Explanation on how to use deep learning pre-trained models）
在运用深度学习模型时，掌握运用预训练模型的方法是必不可少的一步。为什么要使用与训练的模型，原因归纳如下： （1）使用大量高质量的数据（如 ImageNet 是普林斯顿大学与斯坦福大学所主导的项目）又加上设计较复杂的模型结构（如ResNet模型高达150层）设计出来的模型，准确率会大大提高。 （2）可 ......
Can Pre-Trained Text-to-Image Models Generate Visual Goals for Reinforcement Learning
概述 Learning form the Void (LfVoid) 根据给定的language instruction对observation进行appearance-based and structure-based修改得到goal images，为RL提供奖励信号。提升了example-bas ......
【论文阅读】Improving language understanding by generative pre-training
原始题目：Improving language understanding by generative pre-training 中文翻译：通过生成预训练提高语言理解能力 发表时间：2018年 平台：Preprint 文章链接：https://www.mikecaptain.com/resource ......
基于时间频率一致性对时间序列进行自监督对比预训练《Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency》(时序、时频一致性、对比学习)
2023年11月10日，今天看一篇论文，现在17:34，说实话，想摆烂休息，不想看，可还是要看，拴Q。 论文：Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency 或者是：Sel ......
城市时空预测的统一数据管理和综合性能评估 [实验、分析和基准]《Unified Data Management and Comprehensive Performance Evaluation for Urban Spatial-Temporal Prediction [Experiment, Analysis & Benchmark]》
2023年11月1日，还有两个月，2023年就要结束了，希望在结束之前我能有所收获和进步，冲呀，老咸鱼。 摘要 解决了访问和利用不同来源、不同格式存储的不同城市时空数据集，以及确定有效的模型结构和组件。 1.为城市时空大数据设计的统一存储格式“原子文件”，并在40个不同的数据集上验证了其有效性，简化 ......
关于 Angular 的 unified injector
unified injector（统一注入器）是Angular中一个重要的概念，它在依赖注入系统中扮演着关键的角色。在本文中，我们将深入探讨什么是统一注入器，以及如何在Angular中使用它。我们将提供详细的示例和用法说明，以帮助你更好地理解这个概念。 什么是统一注入器？ 在Angular中，依赖注 ......
GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks
目录概符号说明GraphPrompt代码 Liu Z., Yu X., Fang Y. and Zhang X. GraphPrompt: Unifying pre-training and downstream tasks for graph neural networks. WWW, 2023. ......
GPT-GNN: Generative Pre-Training of Graph Neural Networks
目录概符号说明GPT-GNN代码 Hu Z., Dong Y., Wang K., Chang K. and Sun Y. GPT-GNN: Generative pre-training of graph neural networks. KDD, 2020. 概 比较早的一篇图预训练模型. 符号 ......
UniKGQA Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph
目录概主要内容代码 Jiang J., Zhou K., Zhao W. and Wen J. UniKGQA: Unified retrieval and reasoning for solving multi-hop question answering over knowledge graph ......
论文阅读：Unifying Large Language Model and Knowledge Graph：A RoadMap
1 Introduction 大模型和知识图谱结合的综述。 简单介绍一下大模型和知识图谱的优缺点： 如上所示。 本文主要划分为三个模块，分别为： KG-enhanced LLMs LLM-augmented KGs Synergized LLM + KG 2 Background 主要介绍了LLM和 ......
HTB-Unified靶场练习
靶机地址：10.129.96.149 攻击机地址：10.10.14.121 端口扫描 nmap -sC -A 10.129.96.149 发现四个端口: 22、6789、8080、8443 访问10.129.96.149:8080，页面跳转到 https:// 10.129.96.149:8443/ ......
Proj CDeepFuzz Paper Reading: Natural attack for pre-trained models of code
## Abstract 背景：目前大多数的adversarial attack method on pre-trained models of code忽略了perturbations should be natural to human judges(naturalness requirement ......
Proj CDeepFuzz Paper Reading: An Extensive Study on Pre-trained Models for Program Understanding and Generation
## Abstract ## 1. Intro ## 2. Background ### 2.1 Program Understanding and Generation Tasks ### 2.2 NL-PL Pre-Trained Models 挑战赛的实时通用语音恢复(Gesper)系统。该系统采用两阶段结构，首先进行语音恢复，然后进行语音增强。我们首次提出了一种基于复杂频谱映射的生成对抗网络(CSM-GAN)作为语音恢复模块。针对噪声抑制和去噪，提出了全带宽并行 ......
SAP UI5 的 Unified Shell 发展历史和用法介绍试读版
本教程前面的文章，我们介绍了 SAP UI5 的 `UI Area`: * [SAP UI5 应用开发教程之六番外篇 - 什么是 SAP UI5 应用的 UI Area](https://jerry.blog.csdn.net/article/details/131702906) 以及 SAP UI ......
SAP UI5 sap.ui.unified 命名空间的作用介绍
@[TOC](文章目录) 我们在查阅 SAP UI5 [官网](https://sapui5.hana.ondemand.com/#/api/sap.ui.unified)的时候，有时会看见关于 namespace 即命名空间的资源介绍，如下图所示。 这里的符号 n 代表 `namespace`： ......
REALM Retrieval-Augmented Language Model Pre-Training
[TOC] > [Guu K., Lee K., Tung Z., Pasupat P. and Chang M. REALM: Retrieval-augmented language model pre-training. ICML, 2020.](http://arxiv.org/abs/20 ......