mirror of
https://github.com/skindhu/Build-A-Large-Language-Model-CN.git
synced 2026-07-28 14:50:25 +08:00
Revert "Revert "升级为 docsify 模板的:在线网站,支持友好的交互形式""
This commit is contained in:
@@ -1,3 +1,5 @@
|
||||
# 1.理解大语言模型
|
||||
|
||||
本章涵盖以下内容:
|
||||
|
||||
- **大语言模型(LLM)背后基本概念的高级解释**
|
||||
|
||||
@@ -1,3 +1,5 @@
|
||||
# 2.处理文本数据
|
||||
|
||||
本章涵盖以下内容:
|
||||
|
||||
+ **为大语言模型的训练准备文本数据集**
|
||||
|
||||
@@ -1,5 +1,7 @@
|
||||
|
||||
|
||||
# 3.实现注意力机制
|
||||
|
||||
本章涵盖以下内容:
|
||||
|
||||
+ **探讨在神经网络中使用注意力机制的原因**
|
||||
|
||||
@@ -1,3 +1,5 @@
|
||||
# 4.从零开始实现一个用于文本生成的 GPT 模型
|
||||
|
||||
本章涵盖以下内容:
|
||||
|
||||
+ **编写一个类 GPT 的大语言模型(LLM),可以训练其生成类人文本(指的是由人工智能模型生成的文本,这些文本在语言表达、语法结构、情感表达等方面与人类自然书写的文本非常相似)**
|
||||
|
||||
@@ -1,3 +1,5 @@
|
||||
# 5.在无标记数据集上进行预训练
|
||||
|
||||
本章涵盖以下内容:
|
||||
|
||||
+ **计算训练集和验证集的损失,以评估训练过程中大型语言模型生成文本的质量**
|
||||
|
||||
@@ -1,3 +1,5 @@
|
||||
# 6.用于分类任务的微调
|
||||
|
||||
本章涵盖以下内容:
|
||||
|
||||
+ **介绍不同的LLM微调方法**
|
||||
|
||||
@@ -1,3 +1,5 @@
|
||||
# 7.指令遵循微调
|
||||
|
||||
本章涵盖以下内容:
|
||||
|
||||
+ **LLM 指令微调过程概述**
|
||||
|
||||
@@ -1,3 +1,5 @@
|
||||
# 附录A. PyTorch简介
|
||||
|
||||
本章涵盖以下内容:
|
||||
|
||||
+ **PyTorch深度学习框架概述**
|
||||
|
||||
@@ -1,4 +1,6 @@
|
||||
|
||||
# 附录B. 参考文献和扩展阅读
|
||||
|
||||
- [第一章](#第一章)
|
||||
- [第二掌](#第二掌)
|
||||
- [第三章](#第三章)
|
||||
|
||||
@@ -1,4 +1,6 @@
|
||||
|
||||
# 附录C. 习题解答
|
||||
|
||||
- [第二掌](#第二掌)
|
||||
- [练习 2.1](#练习-21)
|
||||
- [练习 2.2](#练习-22)
|
||||
|
||||
@@ -1,3 +1,5 @@
|
||||
# 附录D. 给训练循环添加高级技巧
|
||||
|
||||
- [D.1 学习率预热](#d1-学习率预热)
|
||||
- [D.2 余弦衰减](#d2-余弦衰减)
|
||||
- [D.3 梯度裁剪](#d3-梯度裁剪)
|
||||
|
||||
@@ -1,3 +1,5 @@
|
||||
# 附录E. 使用LoRA的参数高效微调
|
||||
|
||||
本附录介绍低秩适应 (LoRA),这是最广泛使用的参数高效微调技术之一。在解释 LoRA 背后的主要思想之后,本附录将基于第 6 章中的垃圾邮件分类微调示例并对 LLM 进行微调。然而,需要注意的是,LoRA 微调也适用于第 7 章中讨论的有监督的指令微调。
|
||||
|
||||
-----
|
||||
|
||||
Reference in New Issue
Block a user