From 6c423fa4f8729525ade8fa1ebb6880de7e1118dd Mon Sep 17 00:00:00 2001 From: coffee Date: Fri, 9 May 2025 18:42:26 +0800 Subject: [PATCH] update README.md --- README.md | 14 ++++++++------ 1 file changed, 8 insertions(+), 6 deletions(-) diff --git a/README.md b/README.md index caaa956..65f57a7 100755 --- a/README.md +++ b/README.md @@ -5,7 +5,7 @@ LLM-Dolly is a custom LLM built from scratch ## 🗓️ 更新日志 #### 2025-05-09 -- 📝 优化[RMSNorm](https://blog.csdn.net/m0_57102661/article/details/142741221)、MLP、[RoPE](https://zhuanlan.zhihu.com/p/359502624)代码。 +- 📝 优化[RMSNorm](https://arxiv.org/pdf/1910.07467)、MLP、[RoPE](https://arxiv.org/pdf/2104.09864)代码。 #### 2025-05-07 - 📝 使用transformers格式规范modeling和configuration，并设计修改v0.1版modeling_dolly，参数量11.5B。 @@ -14,10 +14,10 @@ LLM-Dolly is a custom LLM built from scratch - 📝 实现 configuration_dolly类,以及添加v0.0版modeling_dolly。 #### 2025-04-30 -- 📝 添加Tokenizer的[BBPE](https://zhuanlan.zhihu.com/p/3329211354)方式训练。 +- 📝 添加Tokenizer的[BBPE](https://arxiv.org/pdf/1909.03341)方式训练。 #### 2025-04-29 -- 📝 添加tokenizer构建代码，支持sentencepiece和transfomers方式，支持从文本构建和从已有的tokenzier构建。 +- 📝 添加tokenizer构建代码，支持sentencepiece和transfomers的[BPE](https://arxiv.org/pdf/1508.07909)，支持从文本构建和从已有的tokenzier构建。 #### 2025-04-24 - ✅ 测试从transformers构建自定义的LLM模型结构。 @@ -26,7 +26,9 @@ LLM-Dolly is a custom LLM built from scratch 特别感谢以下资源和文章的帮助： -- [HelloWorld：tokenizer](https://zhuanlan.zhihu.com/p/657047389) -- [NLP从0到1之HuggingFace实战](https://zhuanlan.zhihu.com/p/690019010) - [Huggingface transformers](https://github.com/huggingface/transformers) -- [Qwen](https://huggingface.co/Qwen) \ No newline at end of file +- [Qwen](https://huggingface.co/Qwen) +- [Neural Machine Translation of Rare Words with Subword Units](https://arxiv.org/pdf/1508.07909) +- [Neural Machine Translation with Byte-Level Subwords](https://arxiv.org/pdf/1909.03341) +- [Root Mean Square Layer Normalization](https://arxiv.org/pdf/1910.07467) +- [RoPE RoFormer: Enhanced Transformer with Rotary Position Embedding](https://arxiv.org/pdf/2104.09864) \ No newline at end of file