深圳幻海软件技术有限公司 欢迎您!

  • 自注意力(Self-Attention)与Multi-Head Attention机制详解

     自注意力机制属于注意力机制之一。与传统的注意力机制作用相同,自注意力机制可以更多地关注到输入中的关键信息。self-attention可以看成是multi-headattention的输入数据相同时的一种特殊情况。所以理解selfattention的本质实际上是了解multi-heada

推荐阅读