自注意力机制属于注意力机制之一。与传统的注意力机制作用相同，自注意力机制可以更多地关注到输入中的关键信息。self-attention可以看成是multi-head attention的输入数据相同时的一种特殊情况。所以理解self attention的本质实际上是了解multi-head attention结构。
一：基本原理
对于一个multi-head attention，它可以接受三个序列query、key、value，其中key与value两个序列长度一定相同，query序列长度可以与key、value长度不同。multi-head attention的输出序列长度与输入的query序列长度一致。兔兔这里记query的长度为Lq，key与value的长度记为Lk。
其次，对于输入序列query、key、value，它们特征长度(每个元素维度dim)是可以不同的，记这三个序列的dim分别为Dq、Dk、Dv。在这些序列输入multi-head attention后，内部的序列的dim是可以与Dq、Dk与Dv不同的，我们称之为嵌入(embedding)维度，记为De，输出的序列dim也是De。
multi-head attention是由一个或多个平行的单元结构组合而成，我们称每个这样的单元结构为一个head(one head，实际上也可以称为一个layer），为了方便，兔兔暂且命名这个单元结构为one-head attention，广义上head数为1 时也是multi-head attention。one-head attention结构是scaled dot-product attention与三个权值矩阵(或三个平行的全连接层)的组合，结构如下图所示
二：Scale Dot-Product Attention具体结构
对于上图，我们把每个输入序列q,k,v看成形状是(Lq,Dq),(Lk,Dk),(Lk,Dv)的矩阵，即每个元素向量按行拼接得到的矩阵。Linear层的参数分别为(Dq,De),(Dk,De),(Dv,De)，则通过全连接层，输出矩阵形状为(Lq,De),(Lk,De),(Lv,De)，我们令通过全连接层得到的矩阵为Q、K、V。
Linear层的本质是权值矩阵W与输入矩阵相乘(有时也可以加上偏置bias)，在one-head attention中，我们令与Q、K、V相乘的权值矩阵分别为，它们的形状为(Dq,De),(Dk,De),(Dv,De)。bias的使用与否对后面的结构并无影响，在一些深度学习框架中默认加bias，但是《Attention Is All You Need》原文公式中并未体现bias，只有W，所以兔兔在后面讲解部分，不考虑bias。
在输入数据通过Linear操作得到Q、K、V矩阵后，我们才真正来到Scale dot-product attention部分。
Scale dot-product attention可以由一个简洁的公式来表示，其中dk即为我们前面的Dk：
这个公式得到的输出即为onehead-attention的输出，它是一个形状为(Lq,De)的矩阵，表示长度为Lq，维度为De的输出序列。公式中：
有一个名字：attention weights，形状为(Lq,Lk)，它可以大概理解为q序列与k序列各个对应元素之间相关性，类似于你在网页上输入关键词query，网页中之前存在的索引key，根据query与key的相关与否来决定选哪些索引key，并根据key来推荐相应的value。
讲到这里，实际上已经介绍完multihead-attention的单元结构了。但是这个过程还可以更加深入地理解，下图是Lq与Lk相同时Scale dot-product attention的详细结构(一般Lq和Lk相等很可能Q，K，v来自同一序列，此时即为self attention，兔兔后面会讲到)。
上图展示的是一个接收Q，K，V形状都是(3,De)的一个scale dot-product attention结构，我们把Q、K、V都拆解成长度为3，维度为De的序列。每次q与各个k计算内积得到一个数a，这些数通过softmax得到新的数a'（这里softmax是整体）。得到的a'与各自的v向量相乘得到新的向量，最终这些新的向量相加得到一个长度为De的向量，之后依次计算得到向量b1、b2，把这些向量b拼成矩阵即为最终的输出。对于这个过程，如果把序列q、k、v用前面的矩阵Q、K、V整体表示，实际上就是前面兔兔给出的那个公式，只不过该该公式以矩阵的形式并行运算，使整个计算过程简洁并且速度更快。
当然，Lq在很多情况不一定等于Lk，此时若再用上图表示该过程会很乱。所以兔兔用下图来表示scale dot-product attention过程。
三：Scale Dot-Product Attention中的掩码mask问题
mask在scale dot-product attention中是可有可无的，在有些情况下使用mask效果会更好，有时则不需要mask。mask作用于scale dot-product attention中的attention weight。前面讲到atttention weights形状是(Lq,Lk)，而使用mask时一般是self-attention的情况，此时Lq=Lk，attention weights 为方阵。mask的目的是使方阵上三角为负无穷(或是一个很小的负数），只保留下三角，这样通过softmax后矩阵上三角趋近于0。这样处理的目的是考虑到实际应用中的情况，例如翻译任务中，我们希望在读取句子序列时每次只利用前面读过的词，与后面还没有读到的词句无关。
实际上，mask的种类可以不止是掩去上三角，根据实际情况也可以使矩阵右侧某些列或任意某些位置为-inf，来掩掉这些位置的信息。
对于multi-head attention，如果使用mask，则每个head一般都使用相同的mask，此时该模型也称为masked multihead-attention
- import numpy as np
- import torch
-
- weight=torch.randint(0,5,size=(5,5))
- mask=torch.tensor(np.array([[False,True,True,True,True],
- [False,False,True,True,True],
- [False,False,False,True,True],
- [False,False,False,False,True],
- [False,False,False,False,False]]))
- masked_weight=weight.masked_fill(mask,-1000)
- out=nn.Sigmoid()(masked_weight)
- print(masked_weight)
- print(out)
- '''-------------------------------'''
- >>>tensor([[ 0, -1000, -1000, -1000, -1000],
- [ 3, 4, -1000, -1000, -1000],
- [ 3, 2, 0, -1000, -1000],
- [ 4, 3, 1, 2, -1000],
- [ 2, 3, 0, 2, 3]])
- >>>tensor([[0.5000, 0.0000, 0.0000, 0.0000, 0.0000],
- [0.9526, 0.9820, 0.0000, 0.0000, 0.0000],
- [0.9526, 0.8808, 0.5000, 0.0000, 0.0000],
- [0.9820, 0.9526, 0.7311, 0.8808, 0.0000],
- [0.8808, 0.9526, 0.5000, 0.8808, 0.9526]])
四：Multi-Head Attention结构
multi-head attention由多个one-head attention组成。我们记一个multi-head attention有n个head，第i个head的权值分别为，则：
这个过程为：输入q,k,v矩阵分别输入各one-head attention，各个head输出矩阵按特征(dim)维度拼接得到新的矩阵，再与矩阵相乘即得到输出(实际上也可以是一个全连接层Linear)，并且输出形状仍是(Lq,De)。
关于其中的参数W，实际上可能会有两种情况，
（1）的形状为：(Lq,De),(Lk,De),(Lk,De)，则每个head形状为(Lq,De)，拼接后得到的矩阵形状(Lq,n×De)，
形状为：(n×De,De)。
（2）的形状为：(Lq,De/n),(Lk,De/n),(Lk,De/n)（此时要保证嵌入维度De能整除head数n），则每个head的形状为(Lq,De/n)，拼接后得到的矩阵形状(Lq,De)，
形状为：(De，De)。
虽然这两种方式内部参数不同，但输入与输出数据形状不变。Pytorch中的MuitiheadAttention使用的是方法（2）。
四：对self-attention的理解
self-attention是multi-head attention三个输入序列都来源于同一序列的情况。设输入序列为input，此时输入的q,k,v三个序列全是input，所以此时Lq=Lk,Dq=Dk=Dv。由于所有输入都是同一个序列，所以也很好理解为什么叫做自注意力。
五：query、key、value的理解与来源
query、key、value分别为查询、键、值。它们可以由同一个序列得到，也可以是具有实际意义的不同序列。从检索的角度来看，query是需要检索的内容，key是索引，value为待检索的值，attention的过程是计算query与key的相关性，获得attention map，在利用 attention map获取value中的特征值。在self-attention中，query,key,value为同一序列，一般情况下，query为一个序列，key与value为同一序列，更一般情况，query,key,value为三个不同的序列。
六：应用实例
1.使用Pytorch构建multi-head attention
- class attention(nn.Module):
- def __init__(self,embed_dim,num_heads):
- '''
- :param embed_dim: 嵌入特征个数
- :param num_heads: scale dot-product attention层数
- '''
- super(attention, self).__init__()
- self.embed_dim=embed_dim
- self.num_heads=num_heads
- self.w_q=[nn.Linear(embed_dim,embed_dim) for i in range(num_heads)]
- self.w_k=[nn.Linear(embed_dim,embed_dim) for i in range(num_heads)]
- self.w_v=[nn.Linear(embed_dim,embed_dim) for i in range(num_heads)]
- self.w_o=nn.Linear(embed_dim*num_heads,embed_dim)
- self.softmax=nn.Softmax()
- def single_head(self,q,k,v,head_idx):
- '''scale dot-scale attention '''
- q=self.w_q[head_idx](q)
- k=self.w_k[head_idx](k)
- v=self.w_v[head_idx](v)
- out=torch.matmul(torch.matmul(q,k.permute(0,2,1)),v)/self.embed_dim
- return out
- def forward(self,q,k,v):
- output=[]
- for i in range(self.num_heads):
- out=self.single_head(q,k,v,i)
- output.append(out)
- output=torch.cat(output,dim=2)
- output=self.w_o(output)
- print(output.shape)
- return output
-
- if __name__=='__main__':
- x=torch.randn(size=(3,2,8),dtype=torch.float32)
- q,k,v=x,x,x
- att=attention(embed_dim=8,num_heads=4)
- output,attention_weight=att(q,k,v)
2.使用Pytoch中nn.MultiheadAttention方法
在Pytorch中，MultiheadAttention方法中必需参数有2个：
embed_dim：嵌入维度，即De。
num_heads：head数
虽然前面讲到Dq、Dk、Dv、De是可以不等的，但是pytorch中输入的Dq要等于De，并且默认Dv、De也等于De，如果k,v的特征dim不等于De，需要修改kdim,vdim参数。对于接收的数据，pytorch默认形式是(seq,batch,feature)，即第一个维度是序列长度，第二个是batch size，第三个是特征dim。如果我们习惯于(batch,seq,feature)形式，可以修改参数batch_first=True。
- import torch
- from torch import nn
- q=torch.randint(0,10,size=(10,9,8),dtype=torch.float32) #batch_size,seq_length,dim
- k=torch.randint(0,10,size=(10,7,4),dtype=torch.float32)
- v=torch.randint(0,10,size=(10,7,3),dtype=torch.float32)
- attention=nn.MultiheadAttention(embed_dim=8,num_heads=4,kdim=4,vdim=3,batch_first=True)
- attn_output, attn_output_weights=attention(q,k,v)
- print(attn_output.shape)
- print(attn_output_weights.shape)
当然，除了这些参数，pytorch的MultiheadAttention中还有更多的参数，例如各种bias,表示是否加入偏置。
七：总结
自注意力机是multi-head attention模型在所有输入都是同一序列一种情况。multi-head attention结构上是一个或多个one head attention 平行组合。每个one head attention由scale dot-product attention与三个相应的权值矩阵组成。multi-head attention作为神经网络的单元层种类之一，在许多神经网络模型中具有重要应用，并且它也是当今十分火热的transformer模型的核心结构之一，掌握好这部分内容对transformer的理解具有重要意义。