SVM:

​ $W:(D,C)$ $X:(N,D)$ $y:(N,)$

注：1. (N,)表示一维向量，既不是行向量也不是列向量。如果要显式的表示行向量(1,N)或者列向量(N,1),就要用.view(1,-1)或者.view(-1,1)。

2. $f(x_i,W)=W^Tx_i$ 其中$x_i$表示$X[i]$,即$X$的第$i$行，是个一维向量$(D,)$,不是行向量！（即你取行/列都会降维）
3. 不管是什么乘法（矩阵和矩阵，矩阵和向量，点乘还是矩阵乘法），都用matmul()就好了，免得报错
4. $W$ 中行数$D$代表特征数，一般为RGB通道+像素值，可以认为这个特征数极大，包含了像素的所有信息；列数$C$表示种类数目，如CIFR-10提供了10种图片类别。$X$的行数$N$表示样本的数量，因数据库的大小不同而不同。

这里直接借用@z_z大佬的图：

$Loss$记得要平均，而且每次都是累加，不是赋值，否则都会被循环最后一次的取值给覆盖。还要记得正则化，一般是$L_2$norm（不用开根号！只需要取每个元素的平方再乘以正则化系数），即$R(W)=R\times \abs{W^2}$

$dW$的计算方法: 注意，求导是对$W$中的每个元素而言的。即$W$中每个元素变化一点，整个$L$损失函数的取值会如何变化。我们关注的是$W$而不是$X$！因为$W$才是我们训练出来的模型。

对于SVM而言，$L_i = \sum_{j\neq y_i}\max(0,s_j-s_{y_i}+1)$

循环法

计算$\frac{\partial L_i}{dW}$需要分两种情况，但是总体思想都是用链式法则

$\frac{\partial L_i}{\partial W} = \frac{\partial L_i}{\partial s_i}\frac{\partial s_i}{dW}$ $s_i$代表对于第$i$个样本所得到的score，使用$W^Tx_i$计算得到的，这样的好处是我们很容易知道$\frac{\partial s_i}{\partial W}$等于$x_i$

推导：对于某个确定的$i$而言，$s_i=W^T x_i$,$ds_i=d(W^T)x_i+W^Tdx_i=(dW)^Tx_i$,两边同时取迹,有$s_i=tr(s_i)=tr((dW)^Tx_i)=tr(x_i^TdW)$,因此$\frac{\partial s_i}{\partial W}=x_i$。当$j=y[i]$时，说明是正确的标签，对损失函数贡献为0，自然导数也为0.当$j\neq y_i$且$L_i>0$时，对于正确类别而言，由$L_i = \sum_{j\neq y_i}\max(0,s_j-s_{y_i}+1)$不难看出，$\frac{\partial L}{\partial s_{y_i}}=-1$,因此有链式法则相乘，梯度减去$-X[i]$。同理，对于错误类别，导数为1，那么梯度应该加上$X[i]$。

代码实现:

def svm_loss_naive(W: torch.Tensor, X: torch.Tensor, y: torch.Tensor, reg: float):
    dW = torch.zeros_like(W)  # initialize the gradient as zero
    num_classes = W.shape[1]
    num_train = X.shape[0]
    loss = 0.0
    for i in range(num_train):
        scores = W.t().mv(X[i])
        correct_class_score = scores[y[i]]
        for j in range(num_classes):
            if j == y[i]:
                continue
            margin = scores[j] - correct_class_score + 1  
            if margin > 0:
                loss += margin
                dW[:,y[i]] -= X[i]
                dW[:,j] += X[i]
    loss /= num_train
    loss += reg * torch.sum(W * W)
    dW_regular = 2 * reg * W
    dW += dW_regular
	return loss, dW

向量化法

特点：直接对整个矩阵进行操作，而不是抽某一行/列。（省时，并发）

为了不使用循环而选出每一个样本正确类别对应的分数，采用一个非常巧妙的办法取出数据，那就是让行数和列数一一对应，形成有序的数对（类似zip），即行和列两个位置不放数字，放两个形状相同的tensor。这里我们希望在第一个样本取出数据后自动到第二个样本，那么我们可以建立自然数(0~N-1)与正确标签y的一一映射，前者可以用torch.arange(N)实现。但是取出来之后是个一维张量，我们需要将其reshape成二维列向量(N,1)。

计算损失矩阵(不妨设为margin)时可以充分利用广播机制代替循环，广播机制会将(N,1)复制成(N,C),每一行都是相同的数字，也就是正确序号对应的分数。我们需要将最小值设成0，小于0的说明不会对损失函数造成影响，而大于0的我们需要注意：有两种情况，一种是本来就是对的，那么经过$L_i = \sum_{j\neq y_i}\max(0,s_j-s_{y_i}+1)$后会得到1，这种影响我们需要手动排除，因此需要直接赋值为0（过程同上述取数据）；如果是错的那就会对损失函数造成影响。最后别忘了损失函数是个标量，需要将矩阵各元素加和求平均再正则化。

而计算$dW$是一个难点，因为我们没办法再用循环的操作了，所以我们只能想办法用矩阵乘法来代替循环（比如说如果我们想要交换矩阵的相邻两列，我们不用循环的话可以用单位矩阵进行相同的变换后右乘得到）

我们先明确：对于margin而言，大于0的说明是错的，梯度应该为1；而对于本身正确的序号，由于一行里有多少次margin>0就有多少次$-s_{y_i}$,所以梯度需要减去大于0的元素个数（用sum,且指定dim=1，dim=1代表第二个维度消失，只剩下第一维度（如果用了keepdim=True代表保留求和的那个维度，只是维度变成1））

后面我自己没搞懂，先贴一个支持向量机.pdf by z_z

我自己又想明白了，可能后面得多回顾。SVM&SOFTMAX by 6ch.