# LLM-Dolly
LLM-Dolly is a custom LLM built from scratch

## 🗓️ 更新日志

#### 2025-05-06
- 📝 实现 Dolly_configuration类,添加第一版modeling_dolly。

#### 2025-04-30
- 📝 添加Tokenizer的BBPE方式训练。

#### 2025-04-29
- 📝 添加tokenizer构建代码，支持sentencepiece和transfomers方式，支持从文本构建和从已有的tokenzier构建。

#### 2025-04-24
- ✅ 测试从transformers构建自定义的LLM模型结构。

## 致谢

特别感谢以下资源和文章的帮助：

- [HelloWorld：tokenizer](https://zhuanlan.zhihu.com/p/657047389)
- [NLP从0到1之HuggingFace实战](https://zhuanlan.zhihu.com/p/690019010)
- [huggingface transformers](https://github.com/huggingface/transformers)
- [Qwen](https://huggingface.co/Qwen)