From a7edf87dca10b210c7c88410cf094fed302f3521 Mon Sep 17 00:00:00 2001
From: coffee <hanluzhi0429@gmail.com>
Date: Thu, 22 May 2025 18:13:01 +0800
Subject: [PATCH] [2025.05.22] add MoE support

---
 README.md | 3 +--
 1 file changed, 1 insertion(+), 2 deletions(-)

diff --git a/README.md b/README.md
index b371622..509d4dd 100755
--- a/README.md
+++ b/README.md
@@ -5,8 +5,7 @@ LLM-Dolly is a custom LLM built from scratch
 ## 🗓️ 更新日志
 
 #### 2025-05-22
-- 📝 添加支持MoE模型，训练资源占用不稳定，测试模型Experts=8, experts_per_tok=4,GPU显存从60%-94%跳动,单个GPU利用率0%-100%跳动。
--     当调小batch_size后，显存占用稳定在90%，单个GPU利用率稳定在90%以上，偶现30%的利用率。
+- 📝 添加支持MoE模型，训练资源占用不稳定，测试模型Experts=8, experts_per_tok=4,GPU显存从60%-94%跳动,单个GPU利用率0%-100%跳动。当调小batch_size后，显存占用稳定在90%，单个GPU利用率稳定在90%以上，偶现30%的利用率。
 
 #### 2025-05-20
 - 📝 添加支持jsonl文件训练.