admin/LLM-from-scratch
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

update README.md

Browse Source
This commit is contained in:
coffee
2025-05-09 18:31:23 +08:00
parent f3760009ef
commit 6684b4396e
1 changed files with 6 additions and 3 deletions
Download Patch File Download Diff File Expand all files Collapse all files
README.md
+6 -3
View File
@@ -1,17 +1,20 @@
# LLM-Dolly # LLM-Dolly
LLM-Dolly is a custom LLM built from scratch, LLM-Dolly is a custom LLM built from scratch
持续优化更新中... 持续优化更新中...
## 🗓️ 更新日志 ## 🗓️ 更新日志
#### 2025-05-09
- 📝 优化[RMSNorm](https://blog.csdn.net/m0_57102661/article/details/142741221)、MLP、[RoPE](https://zhuanlan.zhihu.com/p/359502624)代码。
#### 2025-05-07 #### 2025-05-07
- 📝 使用transformers格式规范modeling和configuration，并设计修改v0.1版modeling_dolly,参数量11.5B。 - 📝 使用transformers格式规范modeling和configuration，并设计修改v0.1版modeling_dolly，参数量11.5B。
#### 2025-05-06 #### 2025-05-06
- 📝 实现 configuration_dolly类,以及添加v0.0版modeling_dolly。 - 📝 实现 configuration_dolly类,以及添加v0.0版modeling_dolly。
#### 2025-04-30 #### 2025-04-30
- 📝 添加Tokenizer的BBPE方式训练。 - 📝 添加Tokenizer的[BBPE](https://zhuanlan.zhihu.com/p/3329211354)方式训练。
#### 2025-04-29 #### 2025-04-29
- 📝 添加tokenizer构建代码，支持sentencepiece和transfomers方式，支持从文本构建和从已有的tokenzier构建。 - 📝 添加tokenizer构建代码，支持sentencepiece和transfomers方式，支持从文本构建和从已有的tokenzier构建。