526互联

R语言coda贝叶斯MCMC Metropolis-Hastings采样链分析和收敛诊断可视化|附代码数据

发布时间 2023-09-06 18:47:09作者: 拓端tecdat

原文链接：http://tecdat.cn/?p=27228 

原文出处：拓端数据部落公众号

 

 最近我们被客户要求撰写关于MCMC Metropolis-Hastings采样的研究报告，包括一些图形和统计输出。

作为先决条件，我们将使用几行代码，在代码中，我们创建了一些测试数据，其中因变量 y 线性依赖于自变量 x（预测变量）；定义线性模型拟合数据的可能性和先验；并实现一个简单的 Metropolis-Hastings MCMC 从该模型的后验分布中采样。

 
 


x = (-(sleze-1)/2):((sple-1)/2)

y =  treA * x + tuB + rnorm(n=sapeize,mean=0,sd=tuSd)

所以，让我们运行 MCMC：

 
 
stavalue = c(4,2,8)
cn = rmtrisMCC(avae, 10000)

由 coda 促成的链的一些简单总结

好吧，coda 是一个 R 包，它提供了许多用于绘制和分析后验样本的标准函数。为了使这些功能起作用，您需要将输出作为“mcmc”或“mcmc.list”类的对象，我们将在后面讨论。

拥有一个 coda 对象的好处是我们通常想要用链做的很多事情都已经实现了，所以例如我们可以简单地 summary() 和 plot() 输出

 
 
summary(chn)

plot(cn)

它提供了一些关于控制台的有用信息和一个大致如下所示的图：

图： 一个 coda 对象的 plot() 函数的结果

对 plot() 函数的结果：每一行对应一个参数，因此每个参数有两个图。左边的图称为轨迹图——它显示了参数在链运行时所取的值。右图通常称为边际密度图。基本上，它是轨迹图中值的（平滑的）直方图，即参数值在链中的分布。

边际密度隐藏了相关性

边际密度是参数取值与所有其他“边缘化”参数的平均值，即其他参数根据其后验概率具有任何值。通常，边际密度被视为贝叶斯分析的主要输出（例如，通过报告它们的均值和标准差），但我强烈建议不要进一步分析这种做法。原因是边际密度“隐藏”了参数之间的相关性，如果存在相关性，参数的不确定性在边际中似乎要大得多。

 
 
Plot(data.frame(can))

在我们的例子中，应该没有大的相关性，因为我以这种方式设置了示例

 
 
x = (-(samee-1)/2):((smeie-1)/2) + 20

再次运行 MCMC 并检查相关性应该会给你一个完全不同的画面。

图： 不平衡 x 值拟合的边际密度（对角线）、配对密度（下图）和相关系数（上图）

您可以看到第一个和第二个参数（斜率和截距）之间的强相关性，并且您还可以看到每个参数 X2 的边际不确定性增加了。

请注意，我们在这里只检查了配对相关性，可能仍然有更高阶的交互不会出现在这样的分析中，所以你可能仍然遗漏了一些东西。

收敛诊断

现在，到收敛：一个 MCMC 从后验分布创建一个样本，我们通常想知道这个样本是否足够接近后验以用于分析。有几种标准方法可以检查这一点，但我建议使用 Gelman-Rubin 诊断。

 
 
cha2 = runmeooi_MCMC(arvue, 10000)

cominchns = mcmc.list(cai, ain2)

plot(coinchns)

结果图应该是这样的

图： 结果

diag 为您提供每个参数的比例缩减因子。因子 1 意味着方差和链内方差相等，较大的值意味着链之间仍然存在显着差异。

改善收敛/混合

那么，如果还没有收敛怎么办？当然，你总是可以让 MCMC 运行更长时间，但另一个选择是让它收敛得更快。可能会发生两件事：

  1. 与我们从中抽样的分布相比，您的提议函数很窄——接受率高，但我们没有得到任何结果，混合不好
  2. 与我们从中抽样的分布相比，您的提议函数太宽了——接受率低，大部分时间我们都呆在原地

最受欢迎的见解

1.使用R语言进行METROPLIS-IN-GIBBS采样和MCMC运行

2.R语言中的Stan概率编程MCMC采样的贝叶斯模型

3.R语言实现MCMC中的Metropolis–Hastings算法与吉布斯采样

4.R语言BUGS JAGS贝叶斯分析 马尔科夫链蒙特卡洛方法（MCMC）采样

5.R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归

6.R语言Gibbs抽样的贝叶斯简单线性回归仿真分析

7.R语言用Rcpp加速Metropolis-Hastings抽样估计贝叶斯逻辑回归模型的参数

8.R语言使用Metropolis- Hasting抽样算法进行逻辑回归

9.R语言中基于混合数据抽样(MIDAS)回归的HAR-RV模型预测GDP增长