open-source fine-tuning chatbot trained
[cf1662J]Training Camp
对于一个元素，注意到其不合法当且仅当满足以下条件之一： - 自身、同行比其小、同列比其大 的元素均未选 - 自身、同行比其大、同列比其小 的元素均未选 将同行同列值相邻的元素连边，每个条件中的元素即构成一条从$1$到$n$的链 另外，若某行/某列元素均未选，也会产生一条从$1$到$n$的链 换言之， ......
「解题报告」CF1662J Training Camp
~~模拟赛题，数据水被 dfs 草过去了。~~ 我们可以把每个点分成两个点 $a_{i, j}, b_{i, j}$，设这一行中选取的数为 $v$，那么对于一行内 $\ge v$ 的点选 $a$，大于 $v$ 的点选 $b$，那么题目的限制相当于每个点只能够选一个颜色。 看起来就像网络流，考虑怎么转 ......
Learning to Pre-train Graph Neural Networks 学习如何预训练GNN
 让机器人有规划、执行动作序列的能力，以在物理环境中完成长期任务。本文提出EmbodiedGPT，它是一个端到端的多模态基础模型，赋予具身代理多模态理解和执行能力。本文的贡献主要有三点： 制作了一个大规模的具身规划数据集EgoCOT。该数据集包 ......
Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ Published in Transactions on Machine Learning Research (04/2023) ......
Chatbot Arena：大型语言模型评级平台
Chatbot Arena：主要针对主流几个开源模型进行测评（目前很多模型还没纳入进来） 网址：https://chat.lmsys.org/ 测评系统：随你给你模型两两比对进行打分。 PS：Elo 评分系统统是指由匈牙利裔美国物理学家 Arpad Elo 创建的一个衡量各类对弈活动水平的评价方法， ......
x_train.flush()
``` if not os.path.exists(PATH + 'x_train.npy'): x_train = np.memmap(PATH + 'x_train.npy', dtype=cfg['data_type'], mode='w+', shape=( self.time_length ......
Sep 2022-Prioritized Training on Points that are Learnable, Worth Learning, and Not Yet Learnt
提出了Reducible Holdout Loss Selection (RHOLOSS)，一种简单但有原则的技术，近似地选择那些最能减少模型泛化损失的点进行训练 ......
论文阅读笔记《Training Socially Engaging Robots Modeling Backchannel Behaviors with Batch Reinforcement Learning》
Training Socially Engaging Robots Modeling Backchannel Behaviors with Batch Reinforcement Learning 训练社交机器人：使用批量强化学习对反馈信号行为进行建模 发表于TAC 2022。 Hussain N, ......
Twitter延迟转化论文《Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction》阅读
背景 由于用户的兴趣是实时变化的，现代推荐、广告系统采用了流式更新的方式来捕捉用户实时兴趣的变化。实时训练的方式面临的一个难题就是正样本的回传是有延迟的，一个实时发送的负样本其实是无法确认是否是真的负样本的。也就是说实时观测到的数据流是一个有偏数据流，并不是真实的数据。如果模型在这个有偏分布上学习， ......
tf.train.Example的用法
目录前言tf.train.BytesList等tf.train.Featuretf.train.Featurestf.train.Example前言最近在看到一个代码时，里面用到了tf.train.Example，于是学习了其用法，这里记录一下，也希望能对其他朋友有用。另外，本文涉及的代码基于pyt ......
论文解读《Interpolated Adversarial Training: Achieving robust neural networks without sacrificing too much accuracy》
论文信息 论文标题：Interpolated Adversarial Training: Achieving robust neural networks without sacrificing too much accuracy论文作者：Alex LambVikas VermaKenji Kawa ......
迁移学习（VMT）《Virtual Mixup Training for Unsupervised Domain Adaptation》
论文信息 论文标题：Virtual Mixup Training for Unsupervised Domain Adaptation论文作者：Takeru Miyato, S. Maeda, Masanori Koyama, S. Ishii论文来源：2019 CVPR论文地址：download ......
AtCoder Regular Contest 123 E Training
洛谷传送门 AtCoder 传送门 不妨假设 $B_X \le B_Y$。设 $f(x) = A_X + \frac{x}{B_X}, g(x) = A_Y + \frac{x}{B_Y}, F(x) = \left\lfloor{f(x)}\right\rfloor, G(x) = \left\l ......
Cluster-GCN An Efficient Algorithm for Training Deep Convolution Networks
Chiang W., Liu X., Si S., Li Y., Bengio S. and Hsieh C. Cluster-GCN: An efficient algorithm for training deep and large graph convolutional networks. ......
深度学习网络fine-tune原理研究 - 以卷积神经网络为例
一、什么是预训练模型（pre-trained model） 预训练模型就是已经用数据集训练好了的模型，这里的数据集一般指大型数据集。比如 VGG16/19 Resnet Imagenet COCO 正常情况下，在图像识别任务中常用的VGG16/19等网络是他人调试好的优秀网络，我们无需再修改其网络结 ......
Vicuna-13B, an open-source chatbot trained by fine-tuning LLaMA
一、项目背景 We introduce Vicuna-13B, an open-source chatbot trained by fine-tuning LLaMA on user-shared conversations collected from ShareGPT. Preliminary ......
论文解读（VAT）《Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning》
论文信息 论文标题：Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning论文作者：Takeru Miyato, S. Maeda, Masanori Koya ......
论文解读《Do We Need Zero Training Loss After Achieving Zero Training Error?》
论文信息 论文标题：Do We Need Zero Training Loss After Achieving Zero Training Error?论文作者：Takashi Ishida, I. Yamane, Tomoya Sakai, Gang Niu, M. Sugiyama论文来源：20 ......
猛读论文13 |【CVPR 2022 UDA】Unleashing Potential of Unsupervised Pre-Training with Intra-Identity Regularization for Person Re-Identification
动机 解决（1）对比学习管道中的增强通常会扭曲人物图像中的判别线索（2）细粒度的局部特征人物图像尚未得到充分探索。 思路 方法 ......
迁移学习（PAT）《Pairwise Adversarial Training for Unsupervised Class-imbalanced Domain Adaptation》
论文信息 论文标题：Pairwise Adversarial Training for Unsupervised Class-imbalanced Domain Adaptation论文作者：Weili Shi, Ronghang Zhu, Sheng Li论文来源：KDD 2022论文地址：dow ......
Layer-Dependent Importance Sampling for Training Deep and Large Graph Convolutional Networks
Zou D., Hu Z., Wang Y., Jiang S., Sun Y. and Gu Q. Layer-dependent importance sampling for training deep and large graph convolutional networks. NIPS, ......
Train the Tesseract OCR engine[how to do]
Training the Tesseract OCR engine is a complex and time-consuming process that involves several steps. Here is an overview of the process: Prepare you ......
【攻防世界逆向】open-source详解难度3
#题目 #解法 下载下来是一个C语言源文件 直接用vis打开如下 可以看到过程并不复杂，并且可以明显见得红框部分就是对flag的计算，然后用16进制进行输出。 那我就想办法能不能跳过判断条件直接获得。 可以看到其中关键点有三个 first second strlen（argv【3】） 而first很 ......
ziyi-lstm-train代码
lstm的train代码 def train_lstm(net,lr,train_loader,total_epoch): global_step = 1 optimizer = torch.optim.Adam(net.parameters(), lr=lr) scheduler = lr_sch ......
BUPT 2023 Spring Training #9
原题：2021“MINIEYE杯”中国大学生算法设计超级联赛（1） 卡在两道题上，然后就没有然后了 A 对于 $i \in [0,\lceil\frac n2\rceil-1] \cap {\mathbb Z}$，取模时一定可以取到（$n \equiv i({\rm mod}\ n-i)$） 对于 ......
GPT模型: Generative Pre-training 生成式无监督预训练
GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩_bilibili ELMo：将上下文当作特征，但是无监督的语料和我们真实的语料还是有区别的，不一定符合我们特定的任务，是一种双向的特征提取。 OpenAI GPT: 通过transformer decoder学习出来一个语言模型，不是固 ......
Stochastic Training of Graph Convolutional Networks with Variance Reduction
Chen J., Zhu J. and Song L. Stochastic training of graph convolutional networks with variance reduction. ICML, 2018. 概 我们都知道, GCN 虽然形式简单, 但是对于结点个数非常多的 ......