526互联

pre-trained

《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记

代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
Pre-Training Transformer Span-Based Extraction Relation

GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读

背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量文本上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 ......
Understanding Pre-Training Generative Improving Language

Open-World Object Manipulation using Pre-trained Vision-Language Models

概述 提出MOO: Manipulation of Open-World Objects 用预训练的VLM在图像中标记instruction的object的坐标，传入policy进行控制，可以zero-shot泛化到novel object，还支持手指、点击输入指令。 问题 机器人泛化到训练中没有见 ......
Vision-Language Manipulation Pre-trained Open-World Language

【论文阅读笔记】【多模态-Vision-Language Pretraining】 BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation

BLIP ICML 2022 (Spotlight) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 在视觉-语言预训练（VLP）中，如何更加高效地利用充斥着噪声的海量图文对数据，提升预训练效果？ 如何设计模型，使得预训练后的模型在理解（understanding-based）任务 ......
Language Vision-Language 模态 Vision Language-Image

【论文阅读笔记】【多模态-Referring & Grounding】 Grounded Language-Image Pre-training

GLIP CVPR 2022 (Oral, Best Paper Finalist) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 如何将视觉-语言预训练技术应用在以目标检测为代表的 fine-grained image understanding 上面？ 如何在增加训练数据的同 ......
模态 Language-Image Pre-training Referring Grounding

GLIP:Grounded Language-Image Pre-training

Grounded Language-Image Pre-training 目录Grounded Language-Image Pre-training简介摘要Introduction统一的损失函数方法总结参考资料 GLIPv1: Grounded Language-Image Pre-trainin ......
Language-Image Pre-training Grounded Language training

Leveraging Pre-trained Large Language Models to Construct and UtilizeWorld Models for Model-based Task Planning

0 Abstract 将LLM直接作为planner的方法实用性不足的几个原因：plan的正确率有限，严重依赖于feedback（与sim或者真实环境的交互），利用人类feedback的效率低下。 作者在两个IPC域和一个Household域证实了GPT-4可以用来生成高质量的PDDL模型（执行超过 ......
Models UtilizeWorld Pre-trained Model-based Leveraging

TensorFlow-深度学习预训练模型的使用方法讲解（TensorFlow-Explanation on how to use deep learning pre-trained models）

在运用深度学习模型时，掌握运用预训练模型的方法是必不可少的一步。为什么要使用与训练的模型，原因归纳如下： （1）使用大量高质量的数据（如 ImageNet 是普林斯顿大学与斯坦福大学所主导的项目）又加上设计较复杂的模型结构（如ResNet模型高达150层）设计出来的模型，准确率会大大提高。 （2）可 ......
TensorFlow TensorFlow-Explanation 使用方法 Explanation pre-trained

Can Pre-Trained Text-to-Image Models Generate Visual Goals for Reinforcement Learning

概述 Learning form the Void (LfVoid) 根据给定的language instruction对observation进行appearance-based and structure-based修改得到goal images，为RL提供奖励信号。提升了example-bas ......
Text-to-Image Reinforcement Pre-Trained Generate Learning

【论文阅读】Improving language understanding by generative pre-training

原始题目：Improving language understanding by generative pre-training 中文翻译：通过生成预训练提高语言理解能力 发表时间：2018年 平台：Preprint 文章链接：https://www.mikecaptain.com/resource ......
understanding pre-training generative Improving language

基于时间频率一致性对时间序列进行自监督对比预训练《Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency》(时序、时频一致性、对比学习)

2023年11月10日，今天看一篇论文，现在17:34，说实话，想摆烂休息，不想看，可还是要看，拴Q。 论文：Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency 或者是：Sel ......
一致性 时间序列 时间 时序 Time

GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks

目录概符号说明GraphPrompt代码 Liu Z., Yu X., Fang Y. and Zhang X. GraphPrompt: Unifying pre-training and downstream tasks for graph neural networks. WWW, 2023. ......
Pre-Training GraphPrompt Downstream Unifying Networks

GPT-GNN: Generative Pre-Training of Graph Neural Networks

目录概符号说明GPT-GNN代码 Hu Z., Dong Y., Wang K., Chang K. and Sun Y. GPT-GNN: Generative pre-training of graph neural networks. KDD, 2020. 概 比较早的一篇图预训练模型. 符号 ......
Pre-Training Generative Networks Training GPT-GNN

Proj CDeepFuzz Paper Reading: Natural attack for pre-trained models of code

## Abstract 背景：目前大多数的adversarial attack method on pre-trained models of code忽略了perturbations should be natural to human judges(naturalness requirement ......
pre-trained CDeepFuzz Natural Reading trained

Proj CDeepFuzz Paper Reading: An Extensive Study on Pre-trained Models for Program Understanding and Generation

## Abstract ## 1. Intro ## 2. Background ### 2.1 Program Understanding and Generation Tasks ### 2.2 NL-PL Pre-Trained Models ![](https://img2023.cnblo ......
Understanding Pre-trained Generation CDeepFuzz Extensive

论文解读（PERL）《PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models论文作者：Eyal Ben-D ......
PERL Contextualized Pivot-based Pre-trained Adaptation

Mixture-of-Domain-Adapters: Decoupling and Injecting Domain Knowledge to Pre-trained Language Mod...

### 1. Abstract 经过预训练的语言模型（PLM）表现出在通用领域理解文本的出色能力，同时在特定领域中表现不佳。**尽管在大型领域特定语料库上继续预训练是有效的，但调整领域上的所有参数是昂贵的**。在本文中，我们研究了是否可以通过只调整几个参数来有效地调整PLM。具体来说，我们将Tran ......
Domain Mixture-of-Domain-Adapters Pre-trained Decoupling Injecting

论文解读（SentiX）《SentiX: A Sentiment-Aware Pre-Trained Model for Cross-Domain Sentiment Analysis》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：SentiX: A Sentiment-Aware Pre-Trained Model for Cross-Domain Sentiment Analysis论文作者：Jie Zhou, Junfeng T ......
Sentiment SentiX Sentiment-Aware Cross-Domain Pre-Trained

REALM Retrieval-Augmented Language Model Pre-Training

[TOC] > [Guu K., Lee K., Tung Z., Pasupat P. and Chang M. REALM: Retrieval-augmented language model pre-training. ICML, 2020.](http://arxiv.org/abs/20 ......
Retrieval-Augmented Pre-Training Augmented Retrieval Language

Learning to Pre-train Graph Neural Networks 学习如何预训练GNN

![image](https://img2023.cnblogs.com/blog/2992171/202306/2992171-20230607143536765-414002095.png) ![image](https://img2023.cnblogs.com/blog/2992171/20 ......
Pre-train Learning Networks Neural Graph

EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought

Abstract: 具身人工智能(Embodied AI)让机器人有规划、执行动作序列的能力，以在物理环境中完成长期任务。本文提出EmbodiedGPT，它是一个端到端的多模态基础模型，赋予具身代理多模态理解和执行能力。本文的贡献主要有三点： 制作了一个大规模的具身规划数据集EgoCOT。该数据集包 ......
Vision-Language Pre-Training EmbodiedGPT Embodied Language

猛读论文13 |【CVPR 2022 UDA】Unleashing Potential of Unsupervised Pre-Training with Intra-Identity Regularization for Person Re-Identification

动机 解决（1）对比学习管道中的增强通常会扭曲人物图像中的判别线索（2）细粒度的局部特征人物图像尚未得到充分探索。 思路 方法 ......
Re-Identification Intra-Identity Identification Regularization Pre-Training

GPT模型: Generative Pre-training 生成式无监督预训练

GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩_bilibili ELMo：将上下文当作特征，但是无监督的语料和我们真实的语料还是有区别的，不一定符合我们特定的任务，是一种双向的特征提取。 OpenAI GPT: 通过transformer decoder学习出来一个语言模型，不是固 ......
Pre-training Generative training 模型 GPT

Generative Pre-trained Transformer（GPT）模型技术初探

一、Transformer模型 2017年，Google在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。相比 RNN 网络结构，其最大的优点是可以并行计算。 ......
Pre-trained Transformer Generative 模型 trained
共24篇  :1/1页 首页上一页1下一页尾页