模型 博客rlhf
RLHF · PBRL | RUNE：鼓励 agent 探索 reward model 更不确定的 (s,a)
reward model 对某 (s,a) 的不确定性，由一系列 ensemble reward models 的输出结果方差的度量，直接乘一个超参数，作为 intrinsic reward 的一部分。 ......
NeurIPS 2023 Spotlight | 半监督与扩散模型结合，实现少标签下可控生成
前言 本文从模型结构到训练策略，以及实验结果出发，详解了DeepMind之前提出的不需要归一化的深度学习模型NFNet。 本文转载自PaperWeekly 作者：游泽彬 单位：中国人民大学 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论 ......
昇腾CANN 7.0 黑科技：大模型推理部署技术解密
针对大模型推理场景，CANN最新发布的CANN 7.0版本有机整合各内部组件，支持大模型的量化压缩、分布式切分编译、分布式加载部署，并在基础加速库、图编译优化、模型执行调度等方面针对大模型进行极致性能优化。 ......
岳麓山风景名胜管理大队-数据库设计心得博客
数据库设计心得-软件2103-岳麓山风景名胜管理大队 作者：王明扬 项目名称：数字化农业信息管理系统 组名：岳麓山风景名胜管理大队 组员：刘传煜、伍嘉懿、王明扬、秦凯、符南山、金颖希 指导老师：荣辉桂 目录： 一、背景 二、数据库设计的重要性 三、设计过程 四、设计心得 一、背景 数字化农业信息管理 ......
模型的评估
在机器学习中，模型评估有很多不同的指标，具体的选择通常取决于你解决的问题的性质（例如分类、回归等）以及你关心的特定性能方面。以下是一些常见的模型评估指标： 分类问题指标： 在二分类问题中，"正类别"通常指的是模型预测为正例的类别。在一个二分类问题中，我们通常将其中一个类别标记为正例（Positive ......
11月10日css盒子模型的margin和padding属性
目录css盒子模型margin属性如何用margin来控制其上下左右的距离margin的缩写padding属性首先它如何进行上右下左的移动现在我有一个需求就是将内容在边框的正中央显示然后就是简写的方式 css盒子模型 有四个属性 属性 描述 margin 用于控制元素与元素之间的距离；margin的 ......
多模态模型框架
多模态模型框架 如果有一个序列一共有四步操作，每一步操作都可以作为一条训练数据。 训练数据如下图： Model选型 文字和图像编码器分别为CN-clip 的 Vit-B/16和bert github地址：https://github.com/OFA-Sys/Chinese-CLIP 操作编码器为：一 ......
三维模型的顶层合并构建的并行处理技术探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
模拟集成电路设计系列博客——3.4.2 稳压器反馈分析
3.4.2 稳压器反馈分析 上一小节中介绍的稳压器的开环分析与基本源极跟随器很相似，假定使用一个跨导为\(G_{ma}\)，输出阻抗为\(R_{oa}\)的单级放大器，环路在放大器的输入处断开并是呀一个测试信号\(v_{t}\)，可以得到如下图所示的小信号等效电路。稳压器负载通过小信号电阻\(R_L ......
python用支持向量机回归(SVR)模型分析用电量预测电力消费|附代码数据
全文链接：http://tecdat.cn/?p=23921 最近我们被客户要求撰写关于支持向量机回归的研究报告，包括一些图形和统计输出。 本文描述了训练支持向量回归模型的过程，该模型用于预测基于几个天气变量、一天中的某个小时、以及这一天是周末/假日/在家工作日还是普通工作日的用电量 关于支持向量机 ......
RLHF · PBRL | PEBBLE：通过 human preference 学习 reward model
① 使用熵 intrinsic reward 的 agent pre-training，② 选择尽可能 informative 的 queries 去获取 preference，③ 使用更新后的 reward model 对 replay buffer 进行 relabel。 ......
高斯混合模型GMM实现
（1）以下matlab代码实现了高斯混合模型： function [Alpha, Mu, Sigma] = GMM_EM(Data, Alpha0, Mu0, Sigma0) %% EM 迭代停止条件 loglik_threshold = 1e-10; %% 初始化参数 [dim, N] = s ......
博客说明
博客园是对我自己个人博客的备份，个人博客的地址分别是： 个人博客-aliyun 个人博客-github.io 前者是部署在阿里云服务器，国内访问速度快，后者是部署在github pages上，作为存档。 博客定期分享安全、算法、技术、生活等内容。 欢迎留言与评论~ ......
解决博客链接结尾不带斜杠时访问失败的问题
目录前言问题探寻解决办法引用参考 现在访问我的博客，带或者不带斜杠均可正常访问。 前言 话说昨天整理了一下好久没折腾的个人博客网站，把之前 pwn 训练营的所有的资料整理到了一篇博客中，并发表了一条 Bilibili 动态。今天下午，我正喝着咖啡唱着歌，改着过两天要汇报的 PPT，突然手机弹出一条消 ......
使用aliyun+hugo搭建个人博客
目录ChangeLog2023-04-05更新2023-03-13更新2023-02-27 更新2023-02-26 更新0 前言1 云服务器配置1.1 购买云服务器和域名1.2 相关配置2 hugo使用方法3 even主题配置3.1 配置github小图标3.2 配置Back to top按钮3. ......
基于LoRA的RLHF
参考Github 开源模型 LLM-Tuning 一、简介 （1）RLHF (基于人类反馈的强化学习) 分为三步： SFT (Supervised Fine-Tuning): 有监督的微调，使用正常的 instruction following 或者对话的样本，来训练模型的基础对话、听从 promp ......
Redis 多线程网络模型
目录前言Redis 为什么快Redis 为何选择单线程避免过多的上下文切换开销避免同步机制的开销简单可维护Redis 的网络模型单线程网络模型多线程异步任务多线程网络模型设计思路CPU 亲和性CPU 高速缓存NUMA 架构无锁设计Reds 多线程模型小结源码剖析多线程初始化读取请求写回响应I/O 线 ......
第十一章 JSP开发模型
目录一. 单选题（共5题，50分）二. 判断题（共5题，50分） 一. 单选题（共5题，50分） (单选题) JSPModel2开发的系统中，实现视图的是（） A. JSP B. HTML C. JavaBean D. Servlet (单选题) MVC模式中用于负责与用户交互并展示模型中数据的模块 ......
每日博客
软件系统对企业需求捕获 进行需求捕获流程：提前沟通->确认谈话主题->展开调研->按部门展开收集 对于企业高层：探讨系统主要目标和包含范围 对于企业中层：理清系统需求主要框架 对于企业操作层：理解系统需求的细节 进行谈话的话题：开放式，封闭式，半开放 谈话结构：金字塔（先封闭后开放）；漏斗（先开放后 ......
Go语言实战开发一个WEB项目博客系统
Go语言实战开发一个WEB项目博客系统 beego个人博客系统功能介绍 首页 分页展示博客 博客详情 评论 文章专栏 分类导航 资源分享 时光轴点点滴滴 关于本站 后台管理 登录 系统设置 分类添加修改删除管理 博文添加修改删除管理 基于Go语言和beego框架 前端使用layui 布局 开发的个人 ......
搭建博客系统(LNMP)
搭建博客系统(LNMP) 博客系统用到的三种配置：php+nginx+mysql 1.改主机名 [root@localhost ~]# hostnamectl set-hostname lnmp [root@localhost ~]# bash 2.关闭Firewalld [root@lnmp ~] ......
浅析三维模型重建的地面控制点精度常见的几个问题及解决方法
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
每日博客，
根据是否运行待测程序，软件测试分为 动态测试和静态测试 界面设计的目的是合理地组织并呈现一组功能 交互设计的原则包括：健壮性学习性灵活性 软件集成需要考虑 集成技术. 集成策略. 集成内容 交互设计基本过程包括：. 构建交互式原型. 评估设计. 表示需要、建立需求. 设计及重新设计 程序可用性指程序 ......
每日博客
[实验任务一]：组合模式 用透明组合模式实现教材中的“文件夹浏览”这个例子。 实验要求： 1. 文件的执行不需真正实现，只需简单提示即可； 2. 提交源代码； #include <iostream> #include <string> #include <list> using namespace ......
胡不归模型
胡不归模型 古老传说 从前有个少年外出求学，某天得知老父亲病危的消息后便立即回家。根据两点之间线段最短，虽然从他此刻位置\(A\)到家\(B\)之间是一片砂石地，但他义无反顾踏上归途，然而，当他赶来到父亲的面前时，老人刚刚咽气了。邻居告诉他，在弥留之际，老人在不断地叨念:“胡不归?胡不归?” 这个古 ......
游戏中模型动画的几种实现方式
游戏内动画的实现方式一般有这几种： 骨骼动画 顶点动画 材质动画 CPU蒙皮动画 骨骼动画 骨骼动画是一种基于骨骼系统的动画技术，它通过对骨骼进行变换来控制模型的姿态和动作。 在骨骼动画中，模型通常被分解成多个部分，每个部分都与一个或多个骨骼相连，通过对骨骼进行旋转、平移、缩放等变换，可以控制模型的 ......
我的第一篇博客园随笔
Hey, guys! 从今天开始要在博客园记录我的学习历程啦，请大家多多指教！ 今天看了两个看板娘设置的教程 https://www.cnblogs.com/ZTianming/p/14618913.html https://www.cnblogs.com/wannacry/p/16836523.h ......
模拟集成电路设计系列博客——3.4.1 稳压器概述
3.4.1 稳压器概述 稳压器的作用是产生一个低噪声的直流电压，并且从中可以流出电流。一般我们在电路中使用它来提供一个干净的电源提供给模拟电路，尤其是在有噪声的供电会限制电路性能的场景中，稳压器的使用是必要的。 一个基本的稳压器结构如下图所示，其以参考电压\(V_{ref}\)作为输入。通过一个单位 ......
JVM内存模型
JVM内存模型 JVM-就是Java虚拟机 主要由ClassLoader（类加载器），Runtime Data Area（运行时数据区，内存分区），Execution Engine（执行引擎），Native Interface（本地库接口）组成 JVM屏蔽了平台，使Java只需要生成在JVM上运行的 ......