矩阵求导术

这不是一本想把你压扁的公式表。它更像一张厨房操作台:刀、砧板、锅、调料都在手边;遇到一个矩阵表达式,我们不慌,先看形状,再取微分,最后用迹把答案端出来。

矩阵求导的难,不在“导数”二字,而在记号太会变脸。同一个结果,有人写成行向量,有人写成列向量;有人把分子放前面,有人把分母放前面;有人张口就是 Kronecker 积,像在餐桌上突然搬出一台叉车。本文的目标是把这些东西摆正:少背孤零零的公式,多理解它们为什么长这样。

你给的两篇“矩阵求导术”文章走的是很好的路线:标量对矩阵、矩阵对矩阵、向量化、Kronecker 积和链式法则。这里我按同一条精神重写一版更适合本站的参考书:更慢一点,更啰嗦一点,也更像写给将来自己的纸条。