摘要
连续学习过程中的稳定性-可塑性权衡是一个重要的问题。作者提出了Auxiliary Network Continual Learning (ANCL)，通过auxiliary network提高了模型的可塑性。
方法
The Formulation of Auxiliary Network Continual Learning
传统的continual learning方法通常是在新数据集上训练模型，同时使用旧模型对其进行约束，然而这会降低模型的可塑性。为此，作者提出了ANCL，使用额外的auxiliary network约束模型，使模型能够自然地将新旧特征的表示合并，ANCL能够很方便地与其它方法进行结合。
ANCL与之前的AFEC相似，作者特别探讨了这两者的不同之处，即ANCL的正则化方式与方法相关，而AFEC的正则化方式基于Fisher信息矩阵（约束的是模型权重的变化），且ANCL使用的是两个相同的正则化器（更有可能达到最佳均衡状态，证明在附录D）。
算法
实验
Stability-Plasticity Trade-off Analysis
～～～
- Stability-Plasticity Plasticity Achieving Auxiliary Stabilitystability-plasticity plasticity achieving auxiliary stability-plasticity auxiliary monocular auxiliary detection learning achieving plasticity interpolated adversarial sacrificing achieving stability training zero achieving论文 understanding plasticity networks neural