建设政府网站的好处技能培训机构排名前十

1 背景

• 由于计算资源限制，目前的LLM大多在较短的上下文长度中进行训练，在推理中，如果超出预训练的长度，模型的性能将会显著降低
  • ——>需要一个可提供外推性的位置编码
• 最经典的绝对位置编码就是原始Transformer中的那个sinusoidal位置编码了：
  • 

 2 RoPE

2.1 motivation

• RoPE通过绝对位置编码实现相对位置编码
  • 以实现有效外推
• 我们现在有query词向量q，对应的位置m；key词向量k，对应的位置n
  • 我们希望学一个词向量和位置信息结合的函数f【经典Transformer的f是用m,n计算sinusoidal位置编码，然后将位置编码向量和q/k相加】
  • 经过f后得到的query向量和key向量都是位置感知的词向量
• RoPE希望之间的点积能够带有相对位置信息m-n
  • 也就是希望存在另一个函数，使得：

2.2 RoPE的f函数

2.2.1 二维向量

• 对于二维词向量，结论是：
  • 
  • 这里θ是一个常数
• 此时
  • 

2.2.2 多维向量 

在原始论文Roformer: Enhanced Transformer With Rotray Position Embedding中，这里直接

所以有：

上面的矩阵乘法等价于如下的实现方式