ecd3a38980a4c2baf650ed1d155409baf3299c5e
LLM-Dolly
LLM-Dolly is a custom LLM built from scratch
🗓️ 更新日志
2025-05-07
- 📝 使用transformers格式规范modeling和configuration,并设计修改v0.1版modeling_dolly。
2025-05-06
- 📝 实现 configuration_dolly类,以及添加v0.0版modeling_dolly。
2025-04-30
- 📝 添加Tokenizer的BBPE方式训练。
2025-04-29
- 📝 添加tokenizer构建代码,支持sentencepiece和transfomers方式,支持从文本构建和从已有的tokenzier构建。
2025-04-24
- ✅ 测试从transformers构建自定义的LLM模型结构。
致谢
特别感谢以下资源和文章的帮助:
Description
Languages
Python
99.6%
Shell
0.4%