- 文章名称：Multi-fidelity reinforcement learning framework for shape optimization
- 链接：https://www.sciencedirect.com/science/article/pii/S0021999123001134#se0020
- Journal of Computational Physics (JCP)，计算力学领域 国际三大顶刊之一。
0 abstract
- 提出了一个受控的（controlled）迁移学习（transfer learning）框架（被称为 CTL），来解决 DRL 需要大量数据的问题。
- 利用来自 low-fidelity 和 high-fidelity env 的信息。
- 优化翼型的计算成本降低 30%。
2 method
- 细节：一个 episode 长度为 1… wait 这算什么 RL 呀？?
- 首先与 low-fidelity env 交互，算法为 PPO。
- 维护一个 \(\beta_e\)，防止过拟合 low-fidelity env。\(\beta_e \triangleq \frac{\xi_e}{\max \left(\xi_e, \xi_{e-1}, \ldots \xi_1\right)}\)，其中 \(\xi_{\tilde{e}}=\left\{r_{\bar{e}}, r_{\bar{e}-1}, \ldots r_{\bar{e}-k}\right\}\) 是长度为 k 的 look-back window 的 reward 的方差。
- 如果 agent 在学，那么 β 应当变小，因为越来越熟练的 agent 在最近这段时间的表现会越来越稳定。（也可能是稳定输出离谱 action 呢？?）
- 定义一个 Γ = 0.3，如果 β＜Γ，那么我们认为在 low-fidelity env 上学足够了，去 high-fidelity env。
为什么这种工作能发顶刊？？