add seventh chapter

This commit is contained in:
skindhu
2024-11-18 16:08:18 +08:00
parent 9f77e585b5
commit f4bb09668e
27 changed files with 1426 additions and 28 deletions

View File

@@ -24,7 +24,7 @@
- [3.6 从单头注意力扩展到多头注意力](#36-从单头注意力扩展到多头注意力)
- [3.6.1 堆叠多层单头注意力层](#361-堆叠多层单头注意力层)
- [3.6.2 通过权重分割实现多头注意力机制](#362-通过权重分割实现多头注意力机制)
- [3.7 总结](#37-总结)
- [3.7 本章摘要](#37-本章摘要)
-----
@@ -1204,7 +1204,7 @@ tensor([[[-0.4519, 0.2216, 0.4772, 0.1063],
[-0.5675, -0.0843, 0.5478, 0.3589],
[-0.5526, -0.0981, 0.5321, 0.3428],
[-0.5299, -0.1081, 0.5077, 0.3493]],
[[-0.4519, 0.2216, 0.4772, 0.1063],
[-0.5874, 0.0058, 0.5891, 0.3257],
[-0.6300, -0.0632, 0.6202, 0.3860],
@@ -1416,7 +1416,7 @@ context_vecs.shape: torch.Size([2, 6, 2])
## 3.7 总结
## 3.7 本章摘要
+ 注意力机制将输入元素转换为增强的上下文向量表示,其中包含了所有输入的信息。
+ 自注意力机制通过对输入的加权求和来计算上下文向量表示。