optimization proximal policy ppo
粒子群算法(Particle Swarm Optimization, PSO)
Particle Swarm Optimization 算法原理参考: https://zhuanlan.zhihu.com/p/404198434 Question 使用PSO算法计算函数$ f(x) = x_1^2 + 3 x_2^2 - x_1 + 2 x_2 - 5 $ 在 \(x \in ......
Worst-Case Optimal Joins
Worst-Case Optimal Joins 当且仅当连接算法的计算复杂度不高于AGM bound，该算法才是Worst-Case Optimal的。 而计算AGM bound，需要计算fractional edge cover，也就是最小边覆盖。它要求给每条边赋权，所有权重之和最小，并且每个顶 ......
Proj. CRR Paper Reading: Optimal Speedup of Las Vegas Algorithms, Adaptive restart for stochastic synthesis
Title Adaptive restart for stochastic synthesis PLDI 2021 Task Distribute the power between multiple runs in stochastic program synthesis to accelerat ......
【API Management】使用 APIM Inbound Policy 来修改Content‐Type Header的值
问题描述 在使用APIM提供API服务管理的场景中，遇见了客户端请求时候发送的请求Header中的Content-Type不满足后台服务器的要求，但是在客户端要求客户修改代码难度较高。 所以面对这样的情况，是否在APIM端修改为对请求的Content-Type进行覆写呢？ 问题解答 可以的。 API ......
Common optimize technique
# Vectorization（矢量化） Before we understand the vectorization, we can see a common secnario. We have a array that has 100 float numbers, we want to calc ......
MySQL的Equality Range Optimization of Many-Valued Comparisons
最近新上线的系统中遇到一个SQL，明明可以使用索引，但是发现实际执行并没有使用到索引。SQL的主要特点是where子句中，in判断中有大量的条件。类似如下： select * FROM a WHERE td in ('2023-08-01') and fuid in ('2','3','41','4 ......
Compiler optimization
1. 化简 - 代数化简 - 常量折叠 2. 内联 - 内部函数和外部函数 3. 指针 - 指针别名 - 合并写入 - 不能跳跃 4. 矢量化 - 使用更宽的寄存器xmm和ymm - 自动调用标准库 - 使用SIMD汇编指令（特殊情况使用边界特判） 5. 循环 6. 结构体 - 结构体内存布局 7. ......
This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.
This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.To enable the following instructions: AVX2 FM ......
Referrer Policy for Internet Security All In One
Referrer Policy for Internet Security All In One
网络安全之引荐人策略
防盗链
......
谷歌浏览器请求Referrer Policy: strict-origin-when-cross-origin问题
**问题** 使用火狐浏览器请求成功  在谷歌浏览器请求失败 **原因** 谷歌浏览器请求为 Referrer P ......
强化学习 Proximal Policy Optimization (PPO)
参考: [李宏毅老师课件](https://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2018/Lecture/PPO%20(v3).pdf) PPO = Policy Gradient 从 On-policy 到 Off-policy, 再加一些const ......
【笔记】凸优化 Convex Optimization
## Differentiation **Def. Gradient** $f:{\cal X}\sube\mathbb{R} ^N\to \mathbb{R}$ is *differentiable*. Then the *gradient* of $f$ at ${\bf x}\in\cal{X ......
Kubernetes Service中的 external-traffic-policy 是什么？
【摘要】 external-traffic-policy，顾名思义“外部流量策略”，那这个配置有什么作用呢？以及external是指什么东西的外部呢，集群、节点、Pod？今天我们就来学习一下这个概念吧。 1、什么是external-traffic-policy 在k8s的Service对象（申明一条 ......
“Switch Cube”Privacy Policy
The privacy policy respects and protects the personal privacy of all users who use the privacy policy network services. In order to provide you with m ......
rockchip平台关闭硬件加速 vendor.hwc.compose_policy
修改位置： device/rockchip/rk356x/device.mk:114: vendor.hwc.compose_policy=1 \ 这个值是在 /hardware/rockchip/hwcomposer/drmhwc2/rockchip/platform/rk3588/drmvop3 ......
optim.SGD
链接：https://www.zhihu.com/question/585468191/answer/2905219147 optim.SGD是PyTorch中的一个优化器，其实现了随机梯度下降（Stochastic Gradient Descent，SGD）算法。在深度学习中，我们通常使用优化器来 ......
Striving for Simplicity and Performance in Off-Policy DRL: Output Normalization and Non-Uniform Sampling
 **发表时间：**2020（ICML 2020） **文章要点：**这篇文章基于SAC做简单并且有效的改进来提升 ......
Experience Replay Optimization
 **发表时间：**2019 (IJCAI 2019) **文章要点：**这篇文章提出experience rep ......
[CF1601C] Optimal Insertion
# Optimal Insertion ## 题面翻译 ### 题目大意 给定两个序列 $a,b$，长度分别为 $n,m(1\leq n,m\leq 10^6)$。接下来将 $b$ 中的所有元素以**任意方式**插入序列 $a$ 中**任意位置**，请找出一种插入方式使结果序列中的逆序对数量最小化， ......
题解 CF1601C【Optimal Insertion】
特别鸣谢： ## problem 两个数组 $a,b$ 长度分别为 $n,m$。将 $b$ 的所有元素以任意顺序插入 $a$ 的任意位置，使最终序列逆序对数量最小，并输出这个值。$n,m\leq 10^6$。 ## solution $b$ 明显是排序成不降的最优，$a$ 原来的逆序对个数无法改变， ......
Proximal Policy Optimization(PPO)算法原理介绍学习笔记
在了解PPO之前，首先需要了解Policy Gradient，PPO是建立在PG上的。 ### Policy Gradient 基本参考https://zhuanlan.zhihu.com/p/66205274进行整理。 给定状态和动作的序列 $s1\rightarrow a1\rightarrow ......
[CSS] Serve optimized images
Try throttling to a slow internet in the browser Dev tools and visit a website made up of HD images like unsplash. That's how to experience the pain o ......
(GCC) gcc 编译选项 -fno-omit-frame-pointer，-fno-tree-vectorize，fno-optimize-sibling-calls；及内存泄漏、非法访问检测 ASAN
omit-frame-pointer 开启该选项，主要是用于去掉所有函数SFP（Stack Frame Pointer）的，即在函数调用时不保存栈帧指针SFP，代价是不能通过backtrace进行调试根据堆栈信息了。通过去掉SFP，可以提高程序运行速度，达到优化程序的目的。如果要打开栈指针，使用 - ......
Unified Conversational Recommendation Policy Learning via Graph-based Reinforcement Learning
图的作用： 图结构捕捉不同类型节点（即用户、项目和属性）之间丰富的关联信息，使我们能够发现协作用户对属性和项目的偏好。因此，我们可以利用图结构将推荐和对话组件有机地整合在一起，其中对话会话可以被视为在图中维护的节点序列，以动态地利用对话历史来预测下一轮的行动。 由四个主要组件组成：基于图的 MDP ......
人工智能LLM模型：奖励模型的训练、PPO 强化学习的训练、RLHF
# 人工智能LLM模型：奖励模型的训练、PPO 强化学习的训练、RLHF # 1.奖励模型的训练 ## 1.1大语言模型中奖励模型的概念 在大语言模型完成 SFT 监督微调后，下一阶段是构建一个奖励模型来对问答对作出得分评价。奖励模型源于强化学习中的奖励函数，能对当前的状态刻画一个分数，来说明这个状 ......
【文献阅读】Optimization and perform criteria of a Stokes polarimeter based on two variable retarders
minimize the noise transmitted through the matrix 主要用三个参数衡量 indicator the condition number (CN) the Equally Weighted Variance (EWV) the error associat ......
大模型入门（七）—— RLHF中的PPO算法理解
本文主要是结合PPO在大模型中RLHF微调中的应用来理解PPO算法。 一、强化学习介绍 1.1、基本要素 环境的状态S：t时刻环境的状态$S_{t}$是环境状态集中某一个状态，以RLHF中为例，序列$w1,w2,w3$是当前的状态。 个体的动作A：t时刻个体采取的动作$A_{t}$，给定序列$w1, ......
AtCoder Regular Contest 164 E Segment-Tree Optimization
[洛谷传送门](https://www.luogu.com.cn/problem/AT_arc164_e "洛谷传送门") [AtCoder 传送门](https://atcoder.jp/contests/arc164/tasks/arc164_e "AtCoder 传送门") 妙妙题。 我们考虑 ......
论文阅读 | Penetration Testing Active Reconnaissance Phase – Optimized Port Scanning With Nmap Tool
我们可以使用 TCP 端口扫描对物联网设备进行分类吗？https://ieeexplore.ieee.org/document/8913346 xx xx --> # 1 介绍 在[10]中，我们根据统计属性（如活动周期，端口号，信令模式和密码套件）来表征物联网流量。此外，提出了一个多阶段机器学习模 ......
[ARC164E] Segment-Tree Optimization
# [ARC164E] Segment-Tree Optimization 题目大意是让你构造一棵广义线段树，给定若干个询问使得询问出的区间最大深度最小并且最大神帝的个数最少。感官上，我们认为满二叉树很优美，所以可以朝着这个方向思考。 首先，不难看出有一些区间中所有数在所有询问中被绑在了一起，即要么 ......