这是来自Google 2017年发表的 Transformer 论文《Attention Is All You Need》的第3.5节 "Positional Encoding"（位置编码）。

这是自然语言处理领域最具影响力的论文之一，首次提出了完全基于注意力机制的 Transformer 架构，彻底改变了 NLP 的发展方向。图中展示的是经典的正弦位置编码（Sinusoidal Positional Encoding）公式，它通过不同频率的正弦和余弦函数为序列中的每个位置生成唯一的编码向量。

该论文作者包括 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser 和 Illia Polosukhin。