mirror of
https://github.com/skindhu/Build-A-Large-Language-Model-CN.git
synced 2026-07-29 15:20:24 +08:00
add seventh chapter
This commit is contained in:
@@ -15,7 +15,7 @@
|
||||
- [4.5 在 Transformer 模块中连接注意力层与线性层](#45-在-transformer-模块中连接注意力层与线性层)
|
||||
- [4.6 实现 GPT 模型](#46-实现-gpt-模型)
|
||||
- [4.7 生成文本](#47-生成文本)
|
||||
- [4.8 总结](#48-总结)
|
||||
- [4.8 本章摘要](#48-本章摘要)
|
||||
|
||||
-----
|
||||
|
||||
@@ -1075,7 +1075,7 @@ Hello, I am Featureiman Byeswickattribute argue
|
||||
|
||||
|
||||
|
||||
## 4.8 总结
|
||||
## 4.8 本章摘要
|
||||
|
||||
+ 层归一化通过确保每一层的输出具有一致的均值和方差,从而稳定训练过程。
|
||||
+ 在大语言模型(LLM)中,快捷连接可以通过将某一层的输出直接传递给更深层来跳过一个或多个层,有助于缓解深度神经网络训练中的梯度消失问题。
|
||||
|
||||
Reference in New Issue
Block a user