Pre-Trained
Open-World Object Manipulation using Pre-trained Vision-Language Models
概述 提出MOO: Manipulation of Open-World Objects 用预训练的VLM在图像中标记instruction的object的坐标，传入policy进行控制，可以zero-shot泛化到novel object，还支持手指、点击输入指令。 问题 机器人泛化到训练中没有见 ......
Leveraging Pre-trained Large Language Models to Construct and UtilizeWorld Models for Model-based Task Planning
0 Abstract 将LLM直接作为planner的方法实用性不足的几个原因：plan的正确率有限，严重依赖于feedback（与sim或者真实环境的交互），利用人类feedback的效率低下。 作者在两个IPC域和一个Household域证实了GPT-4可以用来生成高质量的PDDL模型（执行超过 ......
TensorFlow-深度学习预训练模型的使用方法讲解（TensorFlow-Explanation on how to use deep learning pre-trained models）
在运用深度学习模型时，掌握运用预训练模型的方法是必不可少的一步。为什么要使用与训练的模型，原因归纳如下： （1）使用大量高质量的数据（如 ImageNet 是普林斯顿大学与斯坦福大学所主导的项目）又加上设计较复杂的模型结构（如ResNet模型高达150层）设计出来的模型，准确率会大大提高。 （2）可 ......
Can Pre-Trained Text-to-Image Models Generate Visual Goals for Reinforcement Learning
概述 Learning form the Void (LfVoid) 根据给定的language instruction对observation进行appearance-based and structure-based修改得到goal images，为RL提供奖励信号。提升了example-bas ......
Proj CDeepFuzz Paper Reading: Natural attack for pre-trained models of code
## Abstract 背景：目前大多数的adversarial attack method on pre-trained models of code忽略了perturbations should be natural to human judges(naturalness requirement ......
Proj CDeepFuzz Paper Reading: An Extensive Study on Pre-trained Models for Program Understanding and Generation
## Abstract ## 1. Intro ## 2. Background ### 2.1 Program Understanding and Generation Tasks ### 2.2 NL-PL Pre-Trained Models ![](https://img2023.cnblo ......
论文解读（PERL）《PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models》
Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models论文作者：Eyal Ben-D ......
Mixture-of-Domain-Adapters: Decoupling and Injecting Domain Knowledge to Pre-trained Language Mod...
### 1. Abstract 经过预训练的语言模型（PLM）表现出在通用领域理解文本的出色能力，同时在特定领域中表现不佳。**尽管在大型领域特定语料库上继续预训练是有效的，但调整领域上的所有参数是昂贵的**。在本文中，我们研究了是否可以通过只调整几个参数来有效地调整PLM。具体来说，我们将Tran ......
论文解读（SentiX）《SentiX: A Sentiment-Aware Pre-Trained Model for Cross-Domain Sentiment Analysis》
Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：SentiX: A Sentiment-Aware Pre-Trained Model for Cross-Domain Sentiment Analysis论文作者：Jie Zhou, Junfeng T ......
Generative Pre-trained Transformer（GPT）模型技术初探
一、Transformer模型 2017年，Google在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。相比 RNN 网络结构，其最大的优点是可以并行计算。 ......