mirror of
https://github.com/skindhu/Build-A-Large-Language-Model-CN.git
synced 2026-08-29 21:30:25 +08:00
Compare commits
21 Commits
revert-16-
...
revert-19-
| Author | SHA1 | Date | |
|---|---|---|---|
|
759bd92089 | ||
|
|
678d5d2193 | ||
|
|
1614686bf1 | ||
|
|
661ad483a5 | ||
|
|
ea4fefd870 | ||
|
|
55e6747366 | ||
|
|
66378b7e71 | ||
|
|
9b05cd7cd3 | ||
|
|
1599d9766a | ||
|
|
dbbaf67286 | ||
|
|
ea8f9bdea0 | ||
|
|
1c403d8814 | ||
|
|
1774e19037 | ||
|
|
ec6e3c60e2 | ||
|
|
f130e6e39c | ||
|
|
0bddde0db1 | ||
|
|
0423e97532 | ||
|
|
dea4d004d8 | ||
|
|
02fce8a91f | ||
|
|
84d96d107d | ||
|
|
c157cc1d44 |
3
.gitignore
vendored
3
.gitignore
vendored
@@ -1 +1,4 @@
|
|||||||
.DS_Store
|
.DS_Store
|
||||||
|
|
||||||
|
.cursor
|
||||||
|
|
||||||
|
|||||||
@@ -77,6 +77,7 @@
|
|||||||
<img src="https://wechat-account-1251781786.cos.ap-guangzhou.myqcloud.com/wechat_account.jpeg" width="30%">
|
<img src="https://wechat-account-1251781786.cos.ap-guangzhou.myqcloud.com/wechat_account.jpeg" width="30%">
|
||||||
|
|
||||||
## 最新文章
|
## 最新文章
|
||||||
|
[大模型上下文工程之Prefill Response（预填响应）技巧](https://mp.weixin.qq.com/s/fMeg0wcCd4XZPSN5EouLcg)<br />
|
||||||
[大模型上下文工程之Prefix Caching技术详解](https://mp.weixin.qq.com/s/TA7DY1cynVNPYW-sVI2zHw)<br />
|
[大模型上下文工程之Prefix Caching技术详解](https://mp.weixin.qq.com/s/TA7DY1cynVNPYW-sVI2zHw)<br />
|
||||||
[产品级AI应用的核心：上下文工程](https://mp.weixin.qq.com/s/93rEhMY7rIUlHIiPPDvEag) <br />
|
[产品级AI应用的核心：上下文工程](https://mp.weixin.qq.com/s/93rEhMY7rIUlHIiPPDvEag) <br />
|
||||||
[如何让Cursor精通鸿蒙开发？](https://mp.weixin.qq.com/s/gLgP7gGU0pmGc2x1hS-0UQ)<br />
|
[如何让Cursor精通鸿蒙开发？](https://mp.weixin.qq.com/s/gLgP7gGU0pmGc2x1hS-0UQ)<br />
|
||||||
|
|||||||
17
_sidebar.md
Normal file
17
_sidebar.md
Normal file
@@ -0,0 +1,17 @@
|
|||||||
|
- **从零构建大模型**
|
||||||
|
|
||||||
|
- [1.理解大语言模型](./cn-Book/1.理解大语言模型.md)
|
||||||
|
- [2.处理文本数据](./cn-Book/2.处理文本数据.md)
|
||||||
|
- [3.实现注意力机制](./cn-Book/3.实现注意力机制.md)
|
||||||
|
- [4.从零开始实现一个用于文本生成的 GPT 模型](./cn-Book/4.从零开始实现一个用于文本生成的%20GPT%20模型.md)
|
||||||
|
- [5.在无标记数据集上进行预训练](./cn-Book/5.在无标记数据集上进行预训练.md)
|
||||||
|
- [6.用于分类任务的微调](./cn-Book/6.用于分类任务的微调.md)
|
||||||
|
- [7.指令遵循微调](./cn-Book/7.指令遵循微调.md)
|
||||||
|
|
||||||
|
- **附录**
|
||||||
|
|
||||||
|
- [附录A. PyTorch简介](./cn-Book/附录A.PyTorch简介.md)
|
||||||
|
- [附录B. 参考文献和扩展阅读](./cn-Book/附录B.参考文献和扩展阅读.md)
|
||||||
|
- [附录C. 习题解答](./cn-Book/附录C.习题解答.md)
|
||||||
|
- [附录D. 给训练循环添加高级技巧](./cn-Book/附录D.给训练循环添加高级技巧.md)
|
||||||
|
- [附录E. 使用LoRA的参数高效微调](./cn-Book/附录E.使用LoRA的参数高效微调.md)
|
||||||
@@ -1,3 +1,5 @@
|
|||||||
|
# 1.理解大语言模型
|
||||||
|
|
||||||
本章涵盖以下内容：
|
本章涵盖以下内容：
|
||||||
|
|
||||||
- **大语言模型（LLM）背后基本概念的高级解释**
|
- **大语言模型（LLM）背后基本概念的高级解释**
|
||||||
|
|||||||
@@ -1,3 +1,5 @@
|
|||||||
|
# 2.处理文本数据
|
||||||
|
|
||||||
本章涵盖以下内容：
|
本章涵盖以下内容：
|
||||||
|
|
||||||
+ **为大语言模型的训练准备文本数据集**
|
+ **为大语言模型的训练准备文本数据集**
|
||||||
|
|||||||
@@ -1,5 +1,7 @@
|
|||||||
|
|
||||||
|
|
||||||
|
# 3.实现注意力机制
|
||||||
|
|
||||||
本章涵盖以下内容：
|
本章涵盖以下内容：
|
||||||
|
|
||||||
+ **探讨在神经网络中使用注意力机制的原因**
|
+ **探讨在神经网络中使用注意力机制的原因**
|
||||||
|
|||||||
@@ -1,3 +1,5 @@
|
|||||||
|
# 4.从零开始实现一个用于文本生成的 GPT 模型
|
||||||
|
|
||||||
本章涵盖以下内容：
|
本章涵盖以下内容：
|
||||||
|
|
||||||
+ **编写一个类 GPT 的大语言模型（LLM），可以训练其生成类人文本（指的是由人工智能模型生成的文本，这些文本在语言表达、语法结构、情感表达等方面与人类自然书写的文本非常相似）**
|
+ **编写一个类 GPT 的大语言模型（LLM），可以训练其生成类人文本（指的是由人工智能模型生成的文本，这些文本在语言表达、语法结构、情感表达等方面与人类自然书写的文本非常相似）**
|
||||||
|
|||||||
@@ -1,3 +1,5 @@
|
|||||||
|
# 5.在无标记数据集上进行预训练
|
||||||
|
|
||||||
本章涵盖以下内容：
|
本章涵盖以下内容：
|
||||||
|
|
||||||
+ **计算训练集和验证集的损失，以评估训练过程中大型语言模型生成文本的质量**
|
+ **计算训练集和验证集的损失，以评估训练过程中大型语言模型生成文本的质量**
|
||||||
|
|||||||
@@ -1,3 +1,5 @@
|
|||||||
|
# 6.用于分类任务的微调
|
||||||
|
|
||||||
本章涵盖以下内容：
|
本章涵盖以下内容：
|
||||||
|
|
||||||
+ **介绍不同的LLM微调方法**
|
+ **介绍不同的LLM微调方法**
|
||||||
|
|||||||
@@ -1,3 +1,5 @@
|
|||||||
|
# 7.指令遵循微调
|
||||||
|
|
||||||
本章涵盖以下内容：
|
本章涵盖以下内容：
|
||||||
|
|
||||||
+ **LLM 指令微调过程概述**
|
+ **LLM 指令微调过程概述**
|
||||||
|
|||||||
@@ -1,3 +1,5 @@
|
|||||||
|
# 附录A. PyTorch简介
|
||||||
|
|
||||||
本章涵盖以下内容：
|
本章涵盖以下内容：
|
||||||
|
|
||||||
+ **PyTorch深度学习框架概述**
|
+ **PyTorch深度学习框架概述**
|
||||||
|
|||||||
@@ -1,4 +1,6 @@
|
|||||||
|
|
||||||
|
# 附录B. 参考文献和扩展阅读
|
||||||
|
|
||||||
- [第一章](#第一章)
|
- [第一章](#第一章)
|
||||||
- [第二掌](#第二掌)
|
- [第二掌](#第二掌)
|
||||||
- [第三章](#第三章)
|
- [第三章](#第三章)
|
||||||
|
|||||||
@@ -1,4 +1,6 @@
|
|||||||
|
|
||||||
|
# 附录C. 习题解答
|
||||||
|
|
||||||
- [第二掌](#第二掌)
|
- [第二掌](#第二掌)
|
||||||
- [练习 2.1](#练习-21)
|
- [练习 2.1](#练习-21)
|
||||||
- [练习 2.2](#练习-22)
|
- [练习 2.2](#练习-22)
|
||||||
|
|||||||
@@ -1,3 +1,5 @@
|
|||||||
|
# 附录D. 给训练循环添加高级技巧
|
||||||
|
|
||||||
- [D.1 学习率预热](#d1-学习率预热)
|
- [D.1 学习率预热](#d1-学习率预热)
|
||||||
- [D.2 余弦衰减](#d2-余弦衰减)
|
- [D.2 余弦衰减](#d2-余弦衰减)
|
||||||
- [D.3 梯度裁剪](#d3-梯度裁剪)
|
- [D.3 梯度裁剪](#d3-梯度裁剪)
|
||||||
|
|||||||
@@ -1,3 +1,5 @@
|
|||||||
|
# 附录E. 使用LoRA的参数高效微调
|
||||||
|
|
||||||
本附录介绍低秩适应 (LoRA)，这是最广泛使用的参数高效微调技术之一。在解释 LoRA 背后的主要思想之后，本附录将基于第 6 章中的垃圾邮件分类微调示例并对 LLM 进行微调。然而，需要注意的是，LoRA 微调也适用于第 7 章中讨论的有监督的指令微调。
|
本附录介绍低秩适应 (LoRA)，这是最广泛使用的参数高效微调技术之一。在解释 LoRA 背后的主要思想之后，本附录将基于第 6 章中的垃圾邮件分类微调示例并对 LLM 进行微调。然而，需要注意的是，LoRA 微调也适用于第 7 章中讨论的有监督的指令微调。
|
||||||
|
|
||||||
-----
|
-----
|
||||||
|
|||||||
59
index.html
Normal file
59
index.html
Normal file
@@ -0,0 +1,59 @@
|
|||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en">
|
||||||
|
|
||||||
|
<head>
|
||||||
|
<meta charset="UTF-8">
|
||||||
|
<title>Build a Large Language Model (From Scratch) 中文版</title>
|
||||||
|
<meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1" />
|
||||||
|
<meta name="description" content="Build a Large Language Model (From Scratch) 中文版">
|
||||||
|
<meta name="viewport"
|
||||||
|
content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
|
||||||
|
<link rel="stylesheet" href="//cdn.jsdelivr.net/npm/docsify@latest/lib/themes/vue.css">
|
||||||
|
</head>
|
||||||
|
|
||||||
|
<body>
|
||||||
|
<div id="app"></div>
|
||||||
|
<script src="//cdn.jsdelivr.net/npm/mermaid@8.0.0-rc.8/dist/mermaid.min.js"></script>
|
||||||
|
<script>
|
||||||
|
window.$docsify = {
|
||||||
|
name: 'Build a Large Language Model (From Scratch) 中文版',
|
||||||
|
repo: 'https://github.com/skindhu/Build-A-Large-Language-Model-CN/',
|
||||||
|
loadSidebar: true,
|
||||||
|
auto2top: true,
|
||||||
|
subMaxLevel: 2,
|
||||||
|
relativePath: false, // 启用相对路径支持
|
||||||
|
|
||||||
|
alias: {
|
||||||
|
'/.*/_sidebar.md': '/_sidebar.md'
|
||||||
|
},
|
||||||
|
|
||||||
|
pagination: {
|
||||||
|
previousText: '上一章节',
|
||||||
|
nextText: '下一章节',
|
||||||
|
},
|
||||||
|
count: {
|
||||||
|
countable: true,
|
||||||
|
fontsize: '0.9em',
|
||||||
|
color: 'rgb(90,90,90)',
|
||||||
|
language: 'chinese'
|
||||||
|
}
|
||||||
|
}
|
||||||
|
</script>
|
||||||
|
<!-- Put them above docsify.min.js -->
|
||||||
|
<script src="//cdn.jsdelivr.net/npm/docsify@latest/lib/docsify.min.js"></script>
|
||||||
|
<!-- code render-->
|
||||||
|
<script src="//cdn.jsdelivr.net/npm/prismjs@latest/components/prism-bash.js"></script>
|
||||||
|
<script src="//cdn.jsdelivr.net/npm/prismjs@latest/components/prism-python.js"></script>
|
||||||
|
<script src="//cdn.jsdelivr.net/npm/docsify-pagination@latest/dist/docsify-pagination.min.js"></script>
|
||||||
|
<script src="//cdn.jsdelivr.net/npm/docsify-copy-code"></script>
|
||||||
|
|
||||||
|
<script src="https://cdn.jsdelivr.net/npm/katex@latest/dist/katex.min.js"></script>
|
||||||
|
<link rel="stylesheet" href="//cdn.jsdelivr.net/npm/katex@latest/dist/katex.min.css" />
|
||||||
|
<script src="https://cdn.jsdelivr.net/npm/marked@3"></script>
|
||||||
|
<!-- CDN files for docsify-katex -->
|
||||||
|
<script src="//cdn.jsdelivr.net/npm/docsify-katex@latest/dist/docsify-katex.js"></script>
|
||||||
|
<!-- 字数统计 -->
|
||||||
|
<script src="//unpkg.com/docsify-count/dist/countable.js"></script>
|
||||||
|
</body>
|
||||||
|
|
||||||
|
</html>
|
||||||
3
run_docsify.sh
Normal file
3
run_docsify.sh
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
#! /bin/bash
|
||||||
|
|
||||||
|
docsify serve .
|
||||||
Reference in New Issue
Block a user