add seventh chapter

This commit is contained in:
skindhu
2024-11-18 16:08:18 +08:00
parent 9f77e585b5
commit f4bb09668e
27 changed files with 1426 additions and 28 deletions

View File

@@ -15,7 +15,7 @@
- [4.5 在 Transformer 模块中连接注意力层与线性层](#45-在-transformer-模块中连接注意力层与线性层)
- [4.6 实现 GPT 模型](#46-实现-gpt-模型)
- [4.7 生成文本](#47-生成文本)
- [4.8 总结](#48-总结)
- [4.8 本章摘要](#48-本章摘要)
-----
@@ -1075,7 +1075,7 @@ Hello, I am Featureiman Byeswickattribute argue
## 4.8 总结
## 4.8 本章摘要
+ 层归一化通过确保每一层的输出具有一致的均值和方差,从而稳定训练过程。
+ 在大语言模型LLM快捷连接可以通过将某一层的输出直接传递给更深层来跳过一个或多个层有助于缓解深度神经网络训练中的梯度消失问题。