本文最后更新于：几秒前

1、Attention exploration (20 points)

（a）

（i）

key向量可以对应于n个离散的类别，而 $α_{i} = \frac{\exp (k_{i}^{⊤} q)}{\sum_{j = 1}^{n} \exp (k_{j}^{⊤} q)}, 0 \leq α_{i} \leq 1$ ，且 $\sum_{i = 1}^{n} α_{i} = 1$ ，所以注意力分布 $a_{i}$ 可以视作一个对应于n个类别的分类概率分布。

（ii）

当 $k_{j}^{⊤} q ≪ k_{i}^{⊤} q, i \in {1, \dots, n} \and i \neq j$ 时，注意力权重会集中到 $α_{j}$ 。

（iii）

在（ii）条件下， $c \approx v_{j}$

（iv）

如果查询q与单个key向量非常相似，并且几乎与其余的key向量正交，那么注意力输出c可能几乎与该键向量的相应值向量相同，就像直接“复制”了一样。

（b）

（i）

不妨设 $v_{a} = c_{1} a_{1} + \dots + c_{m} a_{m}, v_{b} = d_{1} b_{1} + \dots + d_{p} b_{p}$ ， $\forall a_{j}^{⊤}$ ，有：

$a_{j}^{⊤} v_{a} = c_{1} a_{j}^{⊤} a_{1} + \dots + c_{j} a_{j}^{⊤} a_{j} + \dots + c_{m} a_{j}^{⊤} a_{m} = c_{j}$
$a_{j}^{⊤} v_{b} = d_{1} a_{j}^{⊤} b_{1} + \dots + d_{j} a_{j}^{⊤} b_{j} + \dots + d_{p} a_{j}^{⊤} b_{p} = 0$

$∴$ 令 $M = [\begin{matrix} a_{1}^{⊤} \\ \dots \\ a_{m}^{⊤} \end{matrix}]$ ，则 $M (v_{a} + v_{b}) = M v_{a} = v_{a}$

（ii）

若令 $c \approx \frac{1}{2} (v_{a} + v_{b})$ ，则需要a和b有大致同等的权重，而其他部分没有权重， $∴ k_{a}^{⊤} q \approx k_{b}^{⊤} q$ ，又 $∵$ 要加大a和b与其他部分的差距， $∴ q = β (k_{a} + k_{b})$ ，其中 $β ≫ 0$ ，此时 $k_{a}^{⊤} q = k_{b}^{⊤} q = β$

（c）

（i）

CS224N作业A5：Attention和Transformers

1、Attention exploration (20 points)

（a）

（i）

（ii）

（iii）

（iv）

（b）

（i）

（ii）

（c）

（i）

（ii）

（d）

（i）

（ii）