fz-mirrors/Build-A-Large-Language-Model-CN
1
0
Fork 0
mirror of https://github.com/skindhu/Build-A-Large-Language-Model-CN.git synced 2026-07-01 01:10:17 +08:00
Code Issues Packages Projects Releases Wiki Activity

Add appendixE

Browse Source
This commit is contained in:
skindhu
2025-04-02 17:20:13 +08:00
parent 835cf6ef00
commit 2aca5ac7d6
1 changed files with 1 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
cn-Book/附录E.使用LoRA的参数高效微调.md
View File

@@ -447,7 +447,7 @@ print(f"Total trainable LoRA parameters: {total_params:,}")
Total trainable LoRA parameters: 2,666,528
```
如我们所见，使用 LoRA 后，可将可训练参数的数量减少了近 50 倍。秩和 alpha 一般都默认设置为 16 ，但通常也会增加秩的大小，这从而增加可训练参数的数量。Alpha 通常选择为秩的一半、两倍或相等。
如我们所见，使用 LoRA 后，可训练参数的数量减少了近 50 倍。秩和 alpha 一般都默认设置为 16 ，但通常也会增加秩的大小，这从而增加可训练参数的数量。Alpha 通常选择为秩的一半、两倍或相等。
现在可以通过打印模型架构来验证这些层是否已按预期修改：