update README.md

This commit is contained in:
coffee
2025-05-09 18:42:26 +08:00
parent 6684b4396e
commit 50a390dd26
+7 -5
View File
@@ -5,7 +5,7 @@ LLM-Dolly is a custom LLM built from scratch
## 🗓️ 更新日志 ## 🗓️ 更新日志
#### 2025-05-09 #### 2025-05-09
- 📝 优化[RMSNorm](https://blog.csdn.net/m0_57102661/article/details/142741221)、MLP、[RoPE](https://zhuanlan.zhihu.com/p/359502624)代码。 - 📝 优化[RMSNorm](https://arxiv.org/pdf/1910.07467)、MLP、[RoPE](https://arxiv.org/pdf/2104.09864)代码。
#### 2025-05-07 #### 2025-05-07
- 📝 使用transformers格式规范modeling和configuration,并设计修改v0.1版modeling_dolly,参数量11.5B。 - 📝 使用transformers格式规范modeling和configuration,并设计修改v0.1版modeling_dolly,参数量11.5B。
@@ -14,10 +14,10 @@ LLM-Dolly is a custom LLM built from scratch
- 📝 实现 configuration_dolly类,以及添加v0.0版modeling_dolly。 - 📝 实现 configuration_dolly类,以及添加v0.0版modeling_dolly。
#### 2025-04-30 #### 2025-04-30
- 📝 添加Tokenizer的[BBPE](https://zhuanlan.zhihu.com/p/3329211354)方式训练。 - 📝 添加Tokenizer的[BBPE](https://arxiv.org/pdf/1909.03341)方式训练。
#### 2025-04-29 #### 2025-04-29
- 📝 添加tokenizer构建代码,支持sentencepiece和transfomers方式,支持从文本构建和从已有的tokenzier构建。 - 📝 添加tokenizer构建代码,支持sentencepiece和transfomers的[BPE](https://arxiv.org/pdf/1508.07909),支持从文本构建和从已有的tokenzier构建。
#### 2025-04-24 #### 2025-04-24
- ✅ 测试从transformers构建自定义的LLM模型结构。 - ✅ 测试从transformers构建自定义的LLM模型结构。
@@ -26,7 +26,9 @@ LLM-Dolly is a custom LLM built from scratch
特别感谢以下资源和文章的帮助: 特别感谢以下资源和文章的帮助:
- [HelloWorld:tokenizer](https://zhuanlan.zhihu.com/p/657047389)
- [NLP从0到1之HuggingFace实战](https://zhuanlan.zhihu.com/p/690019010)
- [Huggingface transformers](https://github.com/huggingface/transformers) - [Huggingface transformers](https://github.com/huggingface/transformers)
- [Qwen](https://huggingface.co/Qwen) - [Qwen](https://huggingface.co/Qwen)
- [Neural Machine Translation of Rare Words with Subword Units](https://arxiv.org/pdf/1508.07909)
- [Neural Machine Translation with Byte-Level Subwords](https://arxiv.org/pdf/1909.03341)
- [Root Mean Square Layer Normalization](https://arxiv.org/pdf/1910.07467)
- [RoPE RoFormer: Enhanced Transformer with Rotary Position Embedding](https://arxiv.org/pdf/2104.09864)