update README.md

2025-05-09 18:31:23 +08:00
parent f3760009ef
commit 6684b4396e
1 changed files with 6 additions and 3 deletions
@@ -1,17 +1,20 @@
 # LLM-Dolly
-LLM-Dolly is a custom LLM built from scratch, 
+LLM-Dolly is a custom LLM built from scratch   
 持续优化更新中...

 ## 🗓️ 更新日志

+#### 2025-05-09
+- 📝 优化[RMSNorm](https://blog.csdn.net/m0_57102661/article/details/142741221)、MLP、[RoPE](https://zhuanlan.zhihu.com/p/359502624)代码。
+
 #### 2025-05-07
- 📝 使用transformers格式规范modeling和configuration，并设计修改v0.1版modeling_dolly,参数量11.5B。
+- 📝 使用transformers格式规范modeling和configuration，并设计修改v0.1版modeling_dolly，参数量11.5B。

 #### 2025-05-06
 - 📝 实现 configuration_dolly类,以及添加v0.0版modeling_dolly。

 #### 2025-04-30
- 📝 添加Tokenizer的BBPE方式训练。
+- 📝 添加Tokenizer的[BBPE](https://zhuanlan.zhihu.com/p/3329211354)方式训练。

 #### 2025-04-29
 - 📝 添加tokenizer构建代码，支持sentencepiece和transfomers方式，支持从文本构建和从已有的tokenzier构建。