【矩阵论】含卷积求导和优化问题闭式解

发布时间 2023-08-29 16:32:22作者: Edlinf

本篇使用的符号说明,考虑优化问题

\[\min\limits_{K} \frac12\|A*K-B\|_F^2+\gamma\|K\|_F^2,\tag{1} \]

其中\(A,B\in M_{m,n}\),通常卷积核我们认为是\(K\in M_{k}\),为了保证傅里叶变换后维度一致,我们将\(K\)用零元素填充至\(M_{m,n}\)

由于傅里叶变换是酉变换,因此\((1)\)等价为

\[\min\limits_{K} \frac12\|\mathcal{F}(A*K)-\mathcal{F}(B)\|_F^2+\gamma\|\mathcal{F}(K)\|_F^2,\tag{2} \]

由于傅里叶变换满足\(\mathcal{F}(A*B)=\mathcal{F}(A)\odot\mathcal{F}(B)\),同时变换前和变换后一一对应,因此\((2)\)等价为

\[\min\limits_{\mathcal{F}(K)} \frac12\|\mathcal{F}(A)\odot\mathcal{F}(K)-\mathcal{F}(B)\|_F^2+\gamma\|\mathcal{F}(K)\|_F^2.\tag{3} \]

最后参考hadamard求导,将优化函数对\(\mathcal{F}(K)\)求导可得

\[\overline{\mathcal{F}(A)}\odot(\mathcal{F}(A)\odot\mathcal{F}(K)-\mathcal{F}(B))+2\gamma\mathcal{F}(K)=0 \\ \begin{aligned} \overline{\mathcal{F}(A)}\odot\mathcal{F}(A)\odot\mathcal{F}(K)+2\gamma\mathcal{F}(K) &= \overline{\mathcal{F}(A)}\odot\mathcal{F}(B) \\ (\overline{\mathcal{F}(A)}\odot\mathcal{F}(A)+2\gamma)\odot\mathcal{F}(K) &= \overline{\mathcal{F}(A)}\odot\mathcal{F}(B) \\ \mathcal{F}(K)&=(\overline{\mathcal{F}(A)}\odot\mathcal{F}(B)) \oslash (\overline{\mathcal{F}(A)}\odot\mathcal{F}(A)+2\gamma)\\ K&=\mathcal{F}^{-1}\left[(\overline{\mathcal{F}(A)}\odot\mathcal{F}(B)) \oslash (\overline{\mathcal{F}(A)}\odot\mathcal{F}(A)+2\gamma)\right] \\ &=\mathcal{F}^{-1}\left[\frac{\overline{\mathcal{F}(A)}\odot\mathcal{F}(B)}{\overline{\mathcal{F}(A)}\odot\mathcal{F}(A)+2\gamma}\right]. \end{aligned} \]