subtokenization investigating pretraining language
OpenCL(Open Computing Language，开放计算语言）杂谈
OpenCL(Open Computing Language，开放计算语言）杂谈 参考文献链接 https://zhuanlan.zhihu.com/p/602844623 1. 介绍 OpenCL(Open Computing Language，开放计算语言）：从软件视角看，它是用于异构平台编程的 ......
Chain-of-Thought Prompting in Large Language Models 论文学习
一、Chain-of-Thought Prompting研发背景 因为LLM，NLP的格局最近发生了革命性的变化，同时。扩大语言模型的规模已经被证明可以带来一系列好处，例如改进的性能和样本效率。然而事实证明，仅扩大模型大小依然存在一些局限性，在诸如 算术 常识 符号推理 实时数据获取 代码模拟执行 ......
pretrain
# BACKBONE ## 前言 本篇博客记录常见backbone，具体如下： 1. ResNet 2. HRNet 2. Mobilenetv1 2. Mobilenetv2 2. Mobilenetv3 ## ResNet ## HRNet HRNet打通了多个视觉任务， 姿态估计参考[HRNe ......
vscode 安装新版C#插件问题(c# Language & c# Dev Kit Extension...)
## .NET SDK Download timeout 安装新版c#插件 遇到 自动下载超时 无法自动下载 ### 解决方法 手动安装SDK 指向本地已经存在的SDK ### 步骤 1. 在setting中搜索 配置项 existingDotnetPath 进入setting.json中 2. 添 ......
Reward Modelling（RM）and Reinforcement Learning from Human Feedback（RLHF）for Large language models（LLM）技术初探
Reward Modelling（RM）and Reinforcement Learning from Human Feedback（RLHF）for Large language models（LLM）技术初探 ......
PRETRAIN
# BACKBONE ## 前言 本篇博客记录常见backbone以及分类算法，具体如下： 1. Hourglass 2. resnet 3. hrnet ## Hourglass ### hourglass module Hourglass模块设计的初衷就是为了捕捉每个尺度下的信息，因为捕捉人脸， ......
URI is not registered (Settings | Languages & Frameworks | Schemas and DTDs)
问题描述： 如下图，在.xml配置文件中配置报错：URI is not registered (Settings | Languages & Frameworks | Schemas and DTDs) 解决办法： 工具栏：file-->settings :找到Schemas and DTDs 中加 ......
What's New in JDK 8 & java-language-changes 9-20
8变动 https://www.oracle.com/java/technologies/javase/8-whats-new.html Lambda表达式 Lambda Expressions https://docs.oracle.com/javase/tutorial/java/javaOO/ ......
GPT-Investigation on the Implementation of Rockchip Product's Audio and Video Codec Function
## 1 Is this function of Rockchip product developed on Linux? Yes, this function of Rockchip product is developed on Linux. According to the datasheet ......
Self-consistency Improves Chain of Thought Reasoning in Language Models 论文阅读
ICLR 2023 [原文地址](https://arxiv.org/abs/2203.11171) ## 1. Motivation Chain-of-Thought(CoT)使Large Language Models(LLMs)在复杂的推理任务中取得了令人鼓舞的结果。 本文提出了一种新的解码策 ......
EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought
Abstract: 具身人工智能(Embodied AI)让机器人有规划、执行动作序列的能力，以在物理环境中完成长期任务。本文提出EmbodiedGPT，它是一个端到端的多模态基础模型，赋予具身代理多模态理解和执行能力。本文的贡献主要有三点： 制作了一个大规模的具身规划数据集EgoCOT。该数据集包 ......
SQL（Structured Query Language）介绍及查询示例
SQL（Structured Query Language）是结构化查询语言的缩写，它是一种专门用于操作关系型数据库的编程语言。SQL 可以用于数据的存储、查询、更新、删除等常见操作，并且是目前世界上最流行的关系型数据库操作语言。 SQL 的主要特点包括： 1. 简单易学：SQL 的语法清晰简单，易 ......
论文解析 -- A Survey of Large Language Models
什么是语言模型？生成式，完成语言接龙或填空 Technically, language modeling (LM) is one of the major approaches to advancing language intelligence of machines. In general, L ......
CLIP-S^4：Language-Guided Self-Supervised Semantic Segmentation论文阅读笔记
## 摘要 作者提出了CLIP-S4，借助自监督像素表示学习和V-L模型实现各种语义分割任务，不需要使用任何像素级别标注以及未知类的信息。作者首先通过对图像的不同增强视角进行像素-分割对比学习来学习像素嵌入。之后，为进一步改善像素嵌入并实现基于自然语言的语义分割，作者设计了由V-L模型指导的嵌入一致 ......
Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference 论文全程及链接：《Exploiting Cloze Questions for Few Shot Text Class ......
获取WebView发送给服务端的Accept-Language请求头
1，WebView没有提供获取Accept-Language请求头的接口 2，WebView的 public WebResourceResponse shouldInterceptRequest(WebView view, WebResourceRequest request) {} 回调中WebR ......
KQL(Kibana Query Language)
官方文档 官方博客 版权声明：本文所有权归作者！ 商业用途转载请联系作者授权！ 非商业用途转载，请标明本文链接及出处！ 赞成、反驳、不解的小伙伴，欢迎一起交流！ ......
开源大模型(large language model, LLM)介绍
作为如今LLM圈内绝对的领头羊，OpenAI并没有遵从其创立初衷，无论是ChatGPT早期所使用的的GPT3、GPT3.5还是此后推出的GPT4模型，OpenAI都因“暂无法保证其不被滥用”为由拒绝了对模型开源，开启了订阅付费模式。 对于大型科技企业而言，不管是出于秀肌肉还是出于商业竞争目的，自研L ......
LLaMA（Open and Efficient Foundation Language Models）学习
一、论文学习 原文链接：https://arxiv.org/pdf/2302.13971.pdf 0x1：引言 在大语料上训练得到的大语言模型(LLM)已经展示了它们的实力，在few-shot特性展现之后，有一系列的工作都关注于提高这些模型的规模。它们的努力是基于更多的参数可以带来更好的性能的假设之 ......
Investigating Div-Sum Property UVA - 11361
定问在[A,B] 中，有多少个整数本身能被m整除，各个数位上数字之和也能被m整除？ #include <iostream> #include <cstring> #include <vector> using namespace std; vector<int> a; int m,f[40][105 ......
Massey University 159.341 Programing Languages, Algorithms and Concurrency assignment2
完成了Massey大学的Programing Languages, Algorithms and Concurrency这门课的作业2。作业要求主要是模拟电梯使用的实现，提供的代码是C语言。 完成效果演示如下 Problem to solve An incomplete C implementati ......
LoRA（Low-Rank Adaptation of Large Language Models）-- 一种大模型prompt-tuning调优方法
一、Pre-train + Fine-tuning范式 0x1：为什么要微调 对于数据集本身很小（几千张图片/几千段文本）的情况，从头开始训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越大，过拟合无法避免。这时候如果还想用上大型神经网络的超强特征提取能力，只能靠微调已经训练 ......
Vulnhub之Investigator靶机测试过程
Investigator 识别目标主机IP地址 ─(kali㉿kali)-[~/Vulnhub/Investigator] └─$ sudo netdiscover -i eth1 -r 192.168.56.0/24 Currently scanning: Finished! | Screen V ......
how to create one command line configuration tool with shell language on Linux All In One
how to create one command line configuration tool with shell language on Linux All In One
如何在 Linux 上用 shell 语言创建一个命令行配置工具
raspi-config
......
Language: label, break, continue, goto
C goto Must be defined within a function Each label in one function must have a unique name. It cannot be a reserved C keyword C has a separate namesp ......
【读论文】LLaMA: Open and Efficient Foundation Language Models
论文：LLaMA: Open and Efficient Foundation Language Models 模型代码：https://github.com/facebookresearch/llama/blob/main/llama/model.py 你也可以打开之前的目录看完整代码。 摘要、介 ......
Visual Studio Code UI5 Language Assistant 扩展介绍
Visual Studio Code UI5 Language Assistant 的功能有哪些？ 打开/编辑相关 SAPUI5 源文件时，此扩展的功能会自动启用。 对于 SAPUI5 XML 视图，这意味着：*.view.xml 或 *.fragment.xml 文件。 请注意，该扩展会延迟下载其 ......
论文分享丨Holistic Evaluation of Language Models
摘要：该文为大模型评估方向的综述论文。 本文分享自华为云社区《【论文分享】《Holistic Evaluation of Language Models》》，作者：DevAI。 大模型（LLM）已经成为了大多数语言相关的技术的基石，然而大模型的能力、限制、风险还没有被大家完整地认识。该文为大模型评估 ......