梯度randomforest森林gbdt
实验四：共轭梯度法程序设计
 和特征随机选择(Feature Randomness)的策略，使得每个决策树都具有一定的差异性。 在进行预测时，随机森林通过 ......
AI版女网红“半藏森林”上线，服务项目让人意想不到
目前首批网红明星“AI克隆人”已提前上线，主营业务就是打造各种名人版AI聊天机器人，用户付费便可与之聊天。其后台报名参加AI克隆人的网红明星“全网粉丝总数已超过5亿”。该公司这波上线的网红明星AI克隆人，包括此前因“疑似插足他人恋情”，而备受争议的网红“半藏森林”。 “半藏森林”克隆人一年收入72万 ......
逛森林 题解
[P5344 逛森林](https://www.luogu.com.cn/problem/P5344) ### 题目大意 ~~原题的题目大意已经很明确了要这个干嘛~~ 给定一些孤立点，将要进行两种操作： - 若两点之间不可以通过 $1$ 类边连通，则在两点之间连双向 $1$ 类边 - 若 $u_1, ......
强化学习基础篇【1】：基础知识点、马尔科夫决策过程、蒙特卡洛策略梯度定理、REINFORCE 算法
# 强化学习基础篇【1】：基础知识点、马尔科夫决策过程、蒙特卡洛策略梯度定理、REINFORCE 算法 # 1.强化学习基础知识点 智能体（agent）：智能体是强化学习算法的主体，它能够根据经验做出主观判断并执行动作，是整个智能系统的核心。 环境（environment）：智能体以外的一切统称为环 ......
第七课 随机森林
1、算法概述 随机森林是一种集成学习方法，其理论基础是决策树。 随机森林由随机+森林两个词组成，这两个词非常精确的描述了随机森林算法的本质，随机说明了算法具有一定的随机性，体现在算法在选取数据集时，会随机从行和列两个方向筛选出子样本，比如图1和图2显示了随机森林两棵子树A和B所选取的数据集是不同的， ......
Python进行多输出（多因变量）回归：集成学习梯度提升决策树GRADIENT BOOSTING,GBR回归训练和预测可视化|附代码数据
原文链接： http://tecdat.cn/?p=25939 最近我们被客户要求撰写关于多输出（多因变量）回归的研究报告，包括一些图形和统计输出。 在之前的文章中，我们研究了许多使用 多输出回归分析的方法。在本教程中，我们将学习如何使用梯度提升决策树GRADIENT BOOSTING REGRES ......
系数矩阵为Hessian矩阵时的使用Pearlmutter trick的共轭梯度解法
共轭梯度法已经在前文中给出介绍： python版本的“共轭梯度法”算法代码 使用共轭梯度法时，如果系数矩阵为Hessian矩阵，那么我们可以使用Pearlmutter trick技术来减少计算过程中的内存消耗，加速计算。 使用Pearlmutter trick的共轭梯度解法源自论文： Fast Ex ......
python版本的“共轭梯度法”算法代码
在看代码的过程中遇到了共轭梯度法这个概念，对这个算法的数学解释看过几遍，推导看过了，感觉懂了，然后过上一些日子就又忘记了，然后又看了一遍推导，然后过了一些日子也就又忘记了，最后想想这个算法的数学解释就不要再取深究了，毕竟平时也不太会用到，偶尔用到了只要保证代码会写也就OK了。 ......
Python信贷风控模型：Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付|附代码数据
全文链接：http://tecdat.cn/?p=26184 最近我们被客户要求撰写关于信贷风控模型的研究报告，包括一些图形和统计输出。 在此数据集中，我们必须预测信贷的违约支付，并找出哪些变量是违约支付的最强预测因子？以及不同人口统计学变量的类别，拖欠还款的概率如何变化？ 有25个变量： ID： ......
随机森林模型 的数学原理
随机森林是一种基于决策树的集成学习方法，其基本思想是通过构建多个决策树来进行分类和回归。随机森林中的每一棵决策树都是在随机样本和随机特征的条件下构建出来的，整个建模过程相当于将多个弱分类器组合成一个强分类器。其主要数学原理如下： 1. 决策树： 随机森林是由多个决策树构成的集成模型，而决策树是一种树 ......
深入分析：矩阵梯度类实例研究
## 写在前面 本文主要用于围绕矩阵类求梯度等问题进行证明与分析，由于笔者的数理基础浅薄，下面的证明过程若存在错误，欢迎评论指正。 矩阵梯度的通用方法：先将矩阵写成微分形式，$df=tr(GdX)$，然后得到$\nabla f=G^T $ ### 案例1 $\begin{array}{ll}\min ......
深入分析：近端梯度下降法、交替方向乘子法、牛顿法
本文主要围绕近端梯度下降法（Proximal Gradient Descent）、交替方向乘子法（Alternating Direction Method of Multipliers）、牛顿法来结合实际的案例进行推导分析，主打一个面向对象。 ......
数据分享|R语言逻辑回归、线性判别分析LDA、GAM、MARS、KNN、QDA、决策树、随机森林、SVM分类葡萄酒交叉验证ROC|附代码数据
全文链接:http://tecdat.cn/?p=27384 最近我们被客户要求撰写关于葡萄酒的研究报告，包括一些图形和统计输出。 在本文中，数据包含有关葡萄牙“Vinho Verde”葡萄酒的信息 介绍 该数据集（查看文末了解数据获取方式）有1599个观测值和12个变量，分别是固定酸度、挥发性酸度 ......
基于ARIMA、SVM、随机森林销售的时间序列预测|附代码数据
原文链接 http://tecdat.cn/?p=1130 最近我们被客户要求撰写关于时间序列预测的研究报告，包括一些图形和统计输出。 如今DT（数据技术）时代，数据变得越来越重要，其核心应用“预测”也成为互联网行业以及产业变革的重要力量。 对于零售行业来说，预测几乎是商业智能（BI）研究的终极问题 ......
MATLAB实验四：共轭梯度法程序设计
一、实验目的 掌握共轭梯度法的基本思想及其迭代步骤；学会运用MATLAB编程实现常用优化算法；能够正确处理实验数据和分析实验结果及调试程序。 二、实验内容 （1）求解无约束优化问题：min f(x)=100(x1^2-x2)^2+(x1-1)^2,x∈R； （2）终止准则取||f(x^k)||<=1 ......
随机森林
训练集给出如下数据： 测试集提供其中的部分列： 要求预测以下列的数据： ['Tdewpoint', 'Visibility', 'Windspeed', 'RH_out', 'Press_mm_hg', 'RH_9', 'T_out', 'RH_4'] 使用随机森林进行预测： import pand ......
激活函数及其梯度
# 激活函数及其梯度 1959年科学家对青蛙神经元的机制进行了研究，发现神经元不是对所有的输入都响应，而是只有值大于某个阈值时才会响应，且输出的值是固定的。 科学家借鉴这种机制发明了神经元模型。 这个函数在z=0处是不连续的，没法求它的导数，无法使用梯度下降进行优化。 为了解决这问题，科学家引入了新 ......
单层感知机的梯度推导
# 单层感知机的梯度推导  w10表示前一层的第1节点和这一层的第0节点相连。  pytorch实现 注：torch.randn(m,n)生成m行n列 ......
梯度及梯度下降
# 梯度下降 我们的目的是找到使预测值最接近真实值的参数，也就是使损失函数最小的参数，即求解损失函数的极值点。于是引入梯度下降的方法，这是被使用最广泛的优化算法。 梯度下降算法是通过一次次的去调整参数，使得损失函数下降到极小值。 ## 什么叫梯度？ 梯度就是下降的方向，它的值为损失函数的偏导数。学习 ......
梯度降方差/全量数据的近似评估-系列论文小结
问题建模: Model 参数 , 输入   ### 孩子表示法(顺序+链式存储) 是医务人员在临床实践过程中，根据国内外医学科研的最新进展,不断提出新方案，与传统方案进行比较后,取其最优者付诸实施，从而提高疾病诊治水平的过程。 在 ......
优化算法-从梯度下降到深度学习非凸优化
一、数学优化 1.1 定义 Mathematical Optimization（数学优化）问题，亦称最优化问题，是指在一定约束条件下，求解一个目标函数的最大值（或最小值）问题。 根据输入变量 𝑿 的值域是否为实数域，数学优化问题可以分为离散优化问题和连续优化问题． 在连续优化问题中，根据是否有变量 ......
工程数学--上机实验四：共轭梯度法程序设计
首先，根据目标函数，我们计算其梯度和海森矩阵： syms x1 x2; f = 100*(x2 - x1^2)^2 + (1 - x1)^2; grad_f = gradient(f, [x1, x2]); grad_f_fun = matlabFunction(grad_f); hes_f = h ......
数据分享|逻辑回归、随机森林、SVM支持向量机预测心脏病风险数据和模型诊断可视化|附代码数据
原文链接：http://tecdat.cn/?p=24973 最近我们被客户要求撰写关于心脏病的研究报告，包括一些图形和统计输出。 世界卫生组织估计全世界每年有 1200 万人死于心脏病。在美国和其他发达国家，一半的死亡是由于心血管疾病 简介 心血管疾病的早期预后可以帮助决定改变高危患者的生活方式， ......