add seventh chapter

This commit is contained in:
skindhu
2024-11-18 16:08:18 +08:00
parent 9f77e585b5
commit f4bb09668e
27 changed files with 1426 additions and 28 deletions

View File

@@ -20,7 +20,7 @@
- [5.3.3 对文本生成函数进行调整](#533-对文本生成函数进行调整)
- [5.4 在 PyTorch 中加载和保存模型权重](#54-在-pytorch-中加载和保存模型权重)
- [5.5 从 OpenAI 加载预训练权重](#55-从-openai-加载预训练权重)
- [5.6 总结](#56-总结)
- [5.6 本章摘要](#56-本章摘要)
@@ -1439,7 +1439,7 @@ What makes us want to be on top of that?
## 5.6 总结
## 5.6 本章摘要
+ 大语言模型在生成文本时,逐个生成 token。
+ 默认情况下,模型通过将输出转换为概率分数,并选择其中概率最高的 token 来生成下一个 token这种方式称为“贪心解码”。