retrieval-augmented pre-training augmented retrieval
连接MySQL时报错：Public Key Retrieval is not allowed的解决方法
解决方法：连接设置——驱动属性——allowPublicKeyRetrieval=false（这里的运输公钥检索是默认关闭的，需要把它开启），改为allowPublicKeyRetrieval=true即可。 连接数据库后，如果不想把此项开启，那在改为false就行，连接过一次后面都可正常在重新连接 ......
《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记
代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读
背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量文本上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 ......
Open-World Object Manipulation using Pre-trained Vision-Language Models
概述 提出MOO: Manipulation of Open-World Objects 用预训练的VLM在图像中标记instruction的object的坐标，传入policy进行控制，可以zero-shot泛化到novel object，还支持手指、点击输入指令。 问题 机器人泛化到训练中没有见 ......
【论文阅读笔记】【多模态-Vision-Language Pretraining】 BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
BLIP ICML 2022 (Spotlight) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 在视觉-语言预训练（VLP）中，如何更加高效地利用充斥着噪声的海量图文对数据，提升预训练效果？ 如何设计模型，使得预训练后的模型在理解（understanding-based）任务 ......
【论文阅读笔记】【多模态-Referring & Grounding】 Grounded Language-Image Pre-training
GLIP CVPR 2022 (Oral, Best Paper Finalist) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 如何将视觉-语言预训练技术应用在以目标检测为代表的 fine-grained image understanding 上面？ 如何在增加训练数据的同 ......
GLIP:Grounded Language-Image Pre-training
Grounded Language-Image Pre-training 目录Grounded Language-Image Pre-training简介摘要Introduction统一的损失函数方法总结参考资料 GLIPv1: Grounded Language-Image Pre-trainin ......
[论文速览] Randomized Quantization@ A Generic Augmentation for Data Agnostic Self-supervised Learning
Pre title: Randomized Quantization: A Generic Augmentation for Data Agnostic Self-supervised Learning accepted: ICCV 2023 paper: https://arxiv.org/abs ......
Leveraging Pre-trained Large Language Models to Construct and UtilizeWorld Models for Model-based Task Planning
0 Abstract 将LLM直接作为planner的方法实用性不足的几个原因：plan的正确率有限，严重依赖于feedback（与sim或者真实环境的交互），利用人类feedback的效率低下。 作者在两个IPC域和一个Household域证实了GPT-4可以用来生成高质量的PDDL模型（执行超过 ......
TensorFlow-深度学习预训练模型的使用方法讲解（TensorFlow-Explanation on how to use deep learning pre-trained models）
在运用深度学习模型时，掌握运用预训练模型的方法是必不可少的一步。为什么要使用与训练的模型，原因归纳如下： （1）使用大量高质量的数据（如 ImageNet 是普林斯顿大学与斯坦福大学所主导的项目）又加上设计较复杂的模型结构（如ResNet模型高达150层）设计出来的模型，准确率会大大提高。 （2）可 ......
Can Pre-Trained Text-to-Image Models Generate Visual Goals for Reinforcement Learning
概述 Learning form the Void (LfVoid) 根据给定的language instruction对observation进行appearance-based and structure-based修改得到goal images，为RL提供奖励信号。提升了example-bas ......
【论文阅读】Improving language understanding by generative pre-training
原始题目：Improving language understanding by generative pre-training 中文翻译：通过生成预训练提高语言理解能力 发表时间：2018年 平台：Preprint 文章链接：https://www.mikecaptain.com/resource ......
论文精读：用于少样本目标检测的元调整损失函数和数据增强（Meta-tuning Loss Functions and Data Augmentation for Few-shot Object Detection）
论文链接：Meta-Tuning Loss Functions and Data Augmentation for Few-Shot Object Detection Abstract 现阶段的少样本学习技术可以分为两类：基于微调（fine-tuning）方法和基于元学习（meta-learning ......
【论文阅读笔记】【Image Retrieval】 Global Features are All You Need for Image Retrieval and Reranking
SuperGlobal ICCV 2023 读论文思考的问题 论文试图解决什么问题？ 图片检索方法通常由粗粒度图片检索和精确的结果重排列两个模块组成。人们通常认为图片的 local feature 在结果重排列中是不可或缺的，但对大量的 local feature 的计算需要较高的计算资源和时间 能 ......
基于时间频率一致性对时间序列进行自监督对比预训练《Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency》(时序、时频一致性、对比学习)
2023年11月10日，今天看一篇论文，现在17:34，说实话，想摆烂休息，不想看，可还是要看，拴Q。 论文：Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency 或者是：Sel ......
解决MySQL8报错：Public Key Retrieval is not allowed
问题分析：这个是由于配置的URL中的useSSL为false导致的，当其为false后，mysql将会检查allowPublicKeyRetrieval是不是TRUE，由于开启allowPublicKeyRetrieval不安全可能遭到中间人攻击（英语：Man-in-the-middle attac ......
com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Public Key Retrieval is not？
问题 ：连接MySQL数据库时抛出异常信息： com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Public Key Retrieval is not allowed一开始aplication.yml配置如下所 ......
GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks
目录概符号说明GraphPrompt代码 Liu Z., Yu X., Fang Y. and Zhang X. GraphPrompt: Unifying pre-training and downstream tasks for graph neural networks. WWW, 2023. ......
GPT-GNN: Generative Pre-Training of Graph Neural Networks
目录概符号说明GPT-GNN代码 Hu Z., Dong Y., Wang K., Chang K. and Sun Y. GPT-GNN: Generative pre-training of graph neural networks. KDD, 2020. 概 比较早的一篇图预训练模型. 符号 ......
UniKGQA Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph
目录概主要内容代码 Jiang J., Zhou K., Zhao W. and Wen J. UniKGQA: Unified retrieval and reasoning for solving multi-hop question answering over knowledge graph ......
Internet-augmented language models through few-shot prompting for open-domain question answering阅读笔记
Internet-augmented language models through few-shot prompting for open-domain question answering 其实我没怎么正经读过论文，尤其是带实验的，我目前认真读过的（大部头）也就是一些LLM的综述。记录这个文档主 ......
如何使用 Angular augmentation 技术增强一个 enum 类型
增强 TypeScript 和 Angular 中的 Enum 类型 在 TypeScript 和 Angular 应用中，枚举类型（Enum）是一种非常有用的工具，用于定义一组命名的常量值。然而，有时我们需要在现有的枚举类型上进行扩展或增强。这正是 Augmentation（增强）技术的用武之地。 ......
如何使用 TypeScript 的 module augmentation 技术增强 Spartacus Feature Library
module augmentation 技术是一种强大的 TypeScript 功能，它允许开发人员在不修改原始代码的情况下扩展现有模块的功能。这种技术在 Angular 生态系统中的应用尤为广泛，特别是在构建功能库和插件时，以确保代码的可维护性和可扩展性。 概述 Module augmentati ......
解决 ： com.mysql.cj.exceptions.UnableToConnectException: Public Key Retrieval is not allowed
问题描述 本来idea还用的好好的 ， 突然就爆出这样一个错误 com.mysql.cj.exceptions.UnableToConnectException: Public Key Retrieval is not allowed 原因如下(参考官网给出的连接选项)： 如果用户使用了 sha25 ......
The_Counterintuitive_Art_of_Memory:_Why_Retrieval_Beats_Cramming_
Introduction I have spent years as a cognitive psychologist, delving into the intricate mechanisms of memory and learning. And if there's one thing I' ......
install mysqlcppconn library and retrieve from mysql database table
sudo apt install libmysqlcppconn-dev #include <algorithm> #include <atomic> #include <barrier> #include <bitset> #include <chrono> #include <ctime> #i ......
Proj CDeepFuzz Paper Reading: Natural attack for pre-trained models of code
## Abstract 背景：目前大多数的adversarial attack method on pre-trained models of code忽略了perturbations should be natural to human judges(naturalness requirement ......
Proj CDeepFuzz Paper Reading: An Extensive Study on Pre-trained Models for Program Understanding and Generation
## Abstract ## 1. Intro ## 2. Background ### 2.1 Program Understanding and Generation Tasks ### 2.2 NL-PL Pre-Trained Models ![](https://img2023.cnblo ......
☀️Navicat连接Oracle：'ORA-12638: Credential retrieval failed' 解决办法
前言： 我们在使用Navicat连接Oracle数据库的时候，需要oci.dll动态链接库，Navicat16在安装时候已经自带了。 我在之前使用一直好好的，就今天需要连一个新项目的Oracle，报错了：ORA-12638: Credential retrieval failed'，如下： 解决： ......
论文解读（PERL）《PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models》
Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models论文作者：Eyal Ben-D ......