Language
《Universal and Transferable Adversarial Attacks on Aligned Language Models》论文学习
一、Abstract 尽管“开箱即用”的大型语言模型（例如ChatGPT）能够生成出色的处理令人反感的内容，人们在规避针对LLM的攻击（针对LLM的所谓“越狱”）方面取得了一些成功，但在不断地攻防实践中这些防御手段却很脆弱，研究员在自动对抗性提示（prompt）生成方面也取得了一些突破。 在本文中， ......
MySQL学习-DML（Data Manipulation Language）数据--select语句02
表连接：分为内连接和外连接，常用内连接。当需要同时显示多个表中字段时，就可以用表连接。 内连接：仅选出两张表中互相匹配的记录 外连接：还会选出其他不匹配的记录 外连接包含左连接和右连接 左连接： ......
什么是编程领域的 DSL - Domain Specific Language
在编程领域中，Domain Specific Language（DSL）是一种特定于特定问题领域的计算机语言，设计用于解决该领域的特定类型的问题。DSL的设计目标通常包括提高生产力，使非程序员可以使用，以及提供特定类型的语言构造。DSL与通用编程语言（GPL）相对，GPL如Python、Java等， ......
MySQL学习-DML（Data Manipulation Language）数据--select语句
select * from emp select ename,sal from emp 查询不重复的记录： 排序：默认升序排列，desc是降序，asc升序 order by 后面可以跟多个不同的排列字段，并且每个字段可以有不同的排列顺序。 如下先按照deptno升序排列，再按照sal降序排列。 限制 ......
《LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS》论文学习
一、INTRODUCTION 深度神经网络规模和基于注意力的网络架构的结合，导致了语言模型具备了前所未有的通用性。“大型语言模型”（LLM）涌现出了很多令人惊艳的能力，包括： few-shot in-context learning zero-shot problem solving chain o ......
Large Language Models are Zero-Shot Reasoners
[TOC] > [Kojima T., Gu S. S., Reid M., Matsuo Y. and Iwasawa Y. Large language models are zero-shot reasoners. NIPS, 2022.](http://arxiv.org/abs/2205. ......
Measuring and Narrowing the Compositionality Gap in Language Models
[TOC] > [Press O., Zhang M., Min S., Schmidt L., Smith N. A. and Lewis M. Measuring and narrowing the compositionality gap in language models. arXiv p ......
《Language Model Cascades》论文学习
一、Introduction 语言模型 (LM) 已展现出令人印象深刻的小样本学习能力，很多人建议应该将LM视为一个基础通用推理计算器，这个基础通用推理计算器可以被用于例如： scratchpads chain of thought prompting learned verifiers selec ......
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
[TOC] > [Wei J., Wang X., Schuurmans D., Bosma M., Ichter B., Xia F., Chi E. H., Le Q. V. and Zhou D. Chain-of-thought prompting elicits reasoning in ......
Rethinking with Retrieval Faithful Large Language Model Inference
[TOC] > [He H., Zhang H. and Roth D. Rethinking with retrieval: faithful large language model inference. arXiv preprint arXiv:2301.00303, 2023.](http: ......
《Prompting Is Programming: A Query Language for Large Language Models》论文学习
一、前言 大型语言模型在诸如对话问答、代码生成等广泛任务上表现出了出色的性能。 在较高的层次上，给定一段输入，大语言模型可用于按照概率统计方式自动补全序列。在此基础上，用户用指令（instructions）或示例（examples）去提示（prompt）大语言模型，以实施各种下游任务。 本质上，提示 ......
REALM Retrieval-Augmented Language Model Pre-Training
[TOC] > [Guu K., Lee K., Tung Z., Pasupat P. and Chang M. REALM: Retrieval-augmented language model pre-training. ICML, 2020.](http://arxiv.org/abs/20 ......
Guidance：A guidance language for controlling large language models
一、项目简介 与传统的Prompt或Chaining技术相比，“Guidance”能够更有效地控制LLM语言模型。 “Guidance”程序允许您将generation、prompting和业务逻辑控制交织成一个连续的pipeline流程，并与LLM模型实际处理文本的过程相匹配，例如： Simple ......
MySQL学习-DML（Data Manipulation Language）数据
回顾DDL语言： show databases; create database hufei; use hufei; create table emp(name varchar(20),age int(10)); show create table emp \G; alter table emp r ......
LoRA：Low-Rank Adaptation Of Language Model
# LoRA：Low-Rank Adaptation Of Language Model ## O、摘要 本文提出一种新的大模型（本文主要指 transformer）微调方法：低秩自适应。其主要特性为，冻结预训练模型的权重，并将可训练低秩矩阵，分解到模型的每一层，从而大大减少下游任务的训练参数量。与 ......
PromptLang：A simple prompt-based programming language specifically designed for use inside GPT prompts
PromptLang：A simple prompt-based programming language specifically designed for use inside GPT prompts ......
SpEL (Spring Expression Language)
https://docs.spring.io/spring-framework/docs/3.0.x/reference/expressions.html 6.1 Introduction The Spring Expression Language (SpEL for short) is a po ......
机器翻译 | Prompting Large Language Model for Machine Translation: A Case Study论文翻译
## 题目： 机器翻译的提示大语言模型:一个案例研究 ## 摘要 对提示的研究表明，在很少甚至没有监督训练的情况下，提示在许多任务中表现出色。然而，文献中对机器翻译的提示还没有充分的研究。**本文对翻译提示策略进行了系统的研究，考察了提示模板和示例选择的各种因素，填补了这一空白**。我们进一步==探 ......
The information of Seminars Language
‘The seminar is a common way ofteaching students on university courses in the UK and it is very likely that you will experience seminars on your cours ......
《ReAct: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS》论文学习
一、论文主要思想 本文首先认为，到目前为止，LLM 在语言理解方面令人印象深刻，它们已被用来生成 CoT（思想链）来解决一些问题，它们也被用于执行和计划生成。 尽管这两者是分开研究的，但本文旨在以交错的方式将推理和行动结合起来，以提高LLM的表现。 这个想法背后的原因是，如果你考虑一下作为一个人，你 ......
[中英文] Aligning language models to follow instructions 对齐语言模型以遵循指令
We've trained language models that are much better at following user intentions than GPT-3 while also making them more truthful and less toxic, using ......
Automatic quality of generated text Evaluation for Large Language Models，针对大模型生成结果的自动化评测研究
Automatic quality of generated text Evaluation for Large Language Models，针对大模型生成结果的自动化评测研究 ......
Proj. CAR Paper Reading: CodeBPE: Investigating Subtokenization Options for Large Language Model Pretraining on Source Code
## Abstract 本文：探索LLM在source code上pretrain时的subtokenization效果。 subtokenization: split long tokens into smaller subtokens, in order to ensure the relati ......
OpenCL(Open Computing Language，开放计算语言）杂谈
OpenCL(Open Computing Language，开放计算语言）杂谈 参考文献链接 https://zhuanlan.zhihu.com/p/602844623 1. 介绍 OpenCL(Open Computing Language，开放计算语言）：从软件视角看，它是用于异构平台编程的 ......
Chain-of-Thought Prompting in Large Language Models 论文学习
一、Chain-of-Thought Prompting研发背景 因为LLM，NLP的格局最近发生了革命性的变化，同时。扩大语言模型的规模已经被证明可以带来一系列好处，例如改进的性能和样本效率。然而事实证明，仅扩大模型大小依然存在一些局限性，在诸如 算术 常识 符号推理 实时数据获取 代码模拟执行 ......
vscode 安装新版C#插件问题(c# Language & c# Dev Kit Extension...)
## .NET SDK Download timeout 安装新版c#插件 遇到 自动下载超时 无法自动下载 ### 解决方法 手动安装SDK 指向本地已经存在的SDK ### 步骤 1. 在setting中搜索 配置项 existingDotnetPath 进入setting.json中 2. 添 ......
Reward Modelling（RM）and Reinforcement Learning from Human Feedback（RLHF）for Large language models（LLM）技术初探
Reward Modelling（RM）and Reinforcement Learning from Human Feedback（RLHF）for Large language models（LLM）技术初探 ......
What's New in JDK 8 & java-language-changes 9-20
8变动 https://www.oracle.com/java/technologies/javase/8-whats-new.html Lambda表达式 Lambda Expressions https://docs.oracle.com/javase/tutorial/java/javaOO/ ......
Self-consistency Improves Chain of Thought Reasoning in Language Models 论文阅读
ICLR 2023 [原文地址](https://arxiv.org/abs/2203.11171) ## 1. Motivation Chain-of-Thought(CoT)使Large Language Models(LLMs)在复杂的推理任务中取得了令人鼓舞的结果。 本文提出了一种新的解码策 ......
EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought
Abstract: 具身人工智能(Embodied AI)让机器人有规划、执行动作序列的能力，以在物理环境中完成长期任务。本文提出EmbodiedGPT，它是一个端到端的多模态基础模型，赋予具身代理多模态理解和执行能力。本文的贡献主要有三点： 制作了一个大规模的具身规划数据集EgoCOT。该数据集包 ......