admin/LLM-from-scratch

Files

T

coffee 6a4c59ea36 update README.md

2025-05-09 18:31:23 +08:00

1.1 KiB

Executable File

Raw Blame History

LLM-Dolly

LLM-Dolly is a custom LLM built from scratch
持续优化更新中...

🗓️ 更新日志

2025-05-09

📝 优化RMSNorm、MLP、RoPE代码。

2025-05-07

📝 使用transformers格式规范modeling和configuration，并设计修改v0.1版modeling_dolly，参数量11.5B。

2025-05-06

📝 实现 configuration_dolly类,以及添加v0.0版modeling_dolly。

2025-04-30

📝 添加Tokenizer的BBPE方式训练。

2025-04-29

📝 添加tokenizer构建代码，支持sentencepiece和transfomers方式，支持从文本构建和从已有的tokenzier构建。

2025-04-24

✅ 测试从transformers构建自定义的LLM模型结构。

致谢

特别感谢以下资源和文章的帮助：