admin/LLM-from-scratch

Files

T

coffee 8d4c0b95b5 update README

2025-05-06 18:03:00 +08:00

664 B

Raw Blame History

LLM-Dolly

LLM-Dolly is a custom LLM built from scratch

🗓️ 更新日志

2025-05-06

📝 实现 Dolly_configuration类,添加第一版modeling_dolly。

2025-04-30

📝 添加Tokenizer的BBPE方式训练。

2025-04-29

📝 添加tokenizer构建代码，支持sentencepiece和transfomers方式，支持从文本构建和从已有的tokenzier构建。

2025-04-24

✅ 测试从transformers构建自定义的LLM模型结构。

致谢

特别感谢以下资源和文章的帮助：