SummerResearch
SummerResearch_Log_20230703
Working Content: 1. 这几天找到了提取attention层的代码，并且可以实现可视化：https://github.com/luo3300612/Visualizer 效果图大概是这样： 用这段代码调用函数，attention_maps[3][0,4,:,:]指的是第3层atten ......
SummerResearch_Log_20230627
Working Content: 1. 今天开始看Vision Transformer(ViT)： 看之前需要一些基础： （1）RNN（Recurrent NN，循环神经网络）： 一段连续的信息，前后信息之间是有关系地，必须将不同时刻的信息放在一起理解。如果是普通的神经网络，每个输入之间是相互独立的 ......
SummerResearch_Log_20230619
Working Content: 1.把resnet18的backdoor和IL尝试结合了一下，得到的结果如下： 在训练完第一个任务后（干净的数据集），错误率为28.29%；训练完第二个任务后（污染的数据集），错误率为28.50%，攻击失败率为85.33%。 这里攻击的成功率太低了，不太清楚为什么， ......
SummerResearch_Log_20230617
Working Content: 1. 今天还是读代码，对于代码有以下问题：（1）FCNet最后的输出层只有1个神经元，这如何做分类？——解决了，应该是因为它每个子任务都是训练两类，所以只需要一个神经元确定是哪个类别。（2）CIFAR数据集的分任务是什么情况？既使用了CIFAR10也使用了CIFAR ......
SummerResearch_Log_20230616
Working Content: 1. 学到的关于VCL方法的几个点： （1）最小化 KL 散度 = 最大化 ELBO（Evidence Lower Bound）。tyxe的源代码应该用的就是最大化ELBO，这里loss是由关于ELBO的函数得到的（具体怎么得到的不太知道）。 （2）源代码用了Pyr ......
SummerResearch_Log_20230613
Working Content: 1. 上次的问题得到解决：（1）数据集就是8个文件夹，代表八个类别（忽略注释说的四个类），databloader会为他们分配labels。（2）incremental learning和backdoor结合是将干净的数据集和被污染的数据集两个任务分别训练。 2. 基 ......
SummerResearch_Log_20230610
Working Content: 1. 目前要做的任务是将classifier_resnet18.py用的方法做一些改动，原来是训练一个被污染的数据集，然后用干净的测试集去测试正常数据的识别成功率和污染数据的攻击成功率。比如某种dog属于dog类，我现在找了个trigger（比如加了个黑方格到dog ......
SummerResearch_Log_20230607
Working Content: 1. 阅读"Variational Continual Learning"论文及代码 关于Continual Learning(CL)的认识：这是一个贝叶斯推断过程，这里是gpt给出的贝叶斯推断概念和例子： 即先确定一个先验分布，需要求的未知参数是θ（当然也可以添加 ......