“Attention” 是一个在人工智能、神经网络和自然语言处理中频繁出现的术语。随着技术的发展，围绕“attention”的概念衍生出许多相关词汇，用于描述不同的注意力机制和应用场景。
以下是一些常见的“attention衍生词”及其简要说明：
| 衍生词 | 说明 |
| Self-attention | 模型内部不同位置之间的注意力机制 |
| Multi-head attention | 使用多个注意力头提升模型性能 |
| Soft attention | 通过加权求和实现注意力分配 |
| Hard attention | 选择性地关注特定位置 |
| Cross-attention | 在不同序列之间建立注意力关系 |
这些衍生词丰富了“attention”的应用范围，使其成为现代深度学习中不可或缺的一部分。
