fz-mirrors/Build-A-Large-Language-Model-CN
1
0
Fork 0
mirror of https://github.com/skindhu/Build-A-Large-Language-Model-CN.git synced 2026-07-27 22:30:25 +08:00
Code Issues Packages Projects Releases Wiki Activity

Merge pull request #13 from ruohai0925/main

Browse Source 
修改一个关于句子3掩码矩阵的可能的错误
This commit is contained in:
long_long_ago
2025-05-27 10:38:09 +08:00
committed by GitHub
parent 1fad72948d 0c5d321e4d
commit 2e38fbbdb0
1 changed files with 1 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
cn-Book/2.处理文本数据.md
View File

@@ -466,7 +466,7 @@ print(tokenizer.decode(tokenizer.encode(text)))
> >
> + 句子1（掩码矩阵）：`[1, 1, 1, 1, 0]` > + 句子1（掩码矩阵）：`[1, 1, 1, 1, 0]`
> + 句子2（掩码矩阵）：`[1, 1, 1, 1, 0]` > + 句子2（掩码矩阵）：`[1, 1, 1, 1, 0]`
> + 句子3（掩码矩阵）：`[1, 1, 1, 0, 0]` > + 句子3（掩码矩阵）：`[1, 1, 1, 1, 0]`
> >
> 在这个掩码矩阵中，`1` 表示模型会关注的 token，`0` 表示模型会忽略的填充 token。通过这种掩码矩阵，模型知道在计算和训练时哪些 token 是有效内容，哪些 token 是填充部分，无需关注。 > 在这个掩码矩阵中，`1` 表示模型会关注的 token，`0` 表示模型会忽略的填充 token。通过这种掩码矩阵，模型知道在计算和训练时哪些 token 是有效内容，哪些 token 是填充部分，无需关注。