jingyaogong/minimind

Maintainer? Show your league in your README

Card: your league's emblem, from Copper to Legendary

[![bestofgithub](https://bestofgithub.dev/badge/jingyaogong/minimind.svg?style=card)](https://bestofgithub.dev/repo/jingyaogong/minimind)

Flat: fits beside your other badges

[![bestofgithub](https://bestofgithub.dev/badge/jingyaogong/minimind.svg)](https://bestofgithub.dev/repo/jingyaogong/minimind)

Loading README…

模型	参数量	Release
minimind-3	64M	2026.04.01
minimind-3-moe	198M-A64M	2026.04.01
minimind2-small	26M	2025.04.26
minimind2-moe	145M	2025.04.26
minimind2	104M	2025.04.26
minimind-v1-small	26M	2024.08.28
minimind-v1-moe	4×26M	2024.09.17
minimind-v1	108M	2024.09.01

Tokenizer模型	词表大小	来源
Yi	64,000	01万物（中国）
Qwen2	151,643	阿里云（中国）
ChatGLM	151,329	智谱AI（中国）
Mistral	32,000	Mistral AI（法国）
Llama 3	128,000	Meta（美国）
MiniMind	6,400	自定义

Model Name	params	len_vocab	max_pos	rope_theta	n_layers	d_model	kv_heads	q_heads	note
minimind-3	64M	6400	32768	1e6	8	768	4	8	Dense
minimind-3-moe	198M-A64M	6400	32768	1e6	8	768	4	8	4 experts / top-1
minimind2-small	26M	6400	32768	1e6	8	512	2	8	历史版本
minimind2-moe	145M	6400	32768	1e6	8	640	2	8	历史版本
minimind2	104M	6400	32768	1e6	16	768	2	8	历史版本

Model Name	params	pretrain_t2t_mini	sft_t2t_mini	toolcall	RLAIF
minimind-3	64M	≈1.21h ≈1.57￥	≈1.10h ≈1.43￥	≈0.9h ≈1.17￥	≈1.1h ≈1.43￥
minimind-3-moe	198M-A64M	≈1.69h ≈2.20￥	≈1.54h ≈2.00￥	≈1.26h ≈1.64￥	≈1.54h ≈2.00￥

类型	裁判	优点	缺点
RLHF	人类	更贴近真实人类偏好	成本高、效率低
RLAIF	模型	自动化、可扩展性强	可能偏离人类真实偏好

符号	含义	说明	值域
$q$	问题/提示词	从数据集 $P(Q)$ 中采样	-
$o$	模型输出序列	由策略 $\pi$ 生成	-
$r_t$	概率比	$r_t = \frac{\pi_\theta(o_t \mid q, o_{<t})}{\pi_{\mathrm{old}}(o_t \mid q, o_{<t})}$	$(0, +\infty)$
$A_t$	优势函数	衡量某个动作相比基线有多好	$(-\infty, +\infty)$
$\text{KL}_t$	KL散度	防止策略偏离参考模型太远	$[0, +\infty)$

算法	策略项 $f(r_t)$	优势项 $g(A_t)$	正则项 $h(\text{KL}_t)$	训练模型数
DPO	$\log r_w - \log r_l$	无显式优势项	隐含在 $\beta$ 中	1 (前向参与 2)
PPO	$\min(r_t \cdot A_t, \mathrm{clip}(r_t, 1-\varepsilon, 1+\varepsilon) \cdot A_t)$	$A_t$（通常由 Critic 估计，也可以使用 GAE）	$\beta \cdot \mathbb{E}[\text{KL}]$	2
GRPO	$\min(r_t \cdot A_t, \mathrm{clip}(r_t, 1-\varepsilon, 1+\varepsilon) \cdot A_t)$	$A_{i,j}=\frac{R_{i,j}-\mu_i}{\sigma_i+\epsilon}$	$\beta \cdot \text{KL}_t$	1
CISPO	$\mathrm{clip}(r, 0, \varepsilon_{\mathrm{high}}) \cdot A_t \cdot \log \pi_\theta$	$\frac{R - \mu}{\sigma}$	$\beta \cdot \text{KL}_t$	1

model name	from	params	zh (ceval / cmmlu)	en (arc / piqa / obqa / hellaswag / siqa)
minimind-3	current	64M	24.89 / 25.38	28.49 / 50.65 / 23.60 / 28.28 / 34.19
minimind-3-moe	current	198M	25.48 / 24.32	27.74 / 50.71 / 26.20 / 27.43 / 34.03
minimind-3-exam	current	64M	30.98 / 26.12	35.61 / 56.26 / 24.20 / 28.40 / 34.19
Steel-LLM	ZhanShiJin	1121M	24.89 / 25.32	39.69 / 65.13 / 26.00 / 35.73 / 39.15
gpt2-medium	OpenAI	360M	23.18 / 25.00	43.60 / 66.38 / 30.20 / 39.38 / 39.10
TinyLlama-1.1B	TinyLlama	1100M	25.71 / 25.03	54.80 / 74.43 / 35.60 / 60.38 / 43.09
SmolLM2-135M	HuggingFace	135M	24.44 / 24.71	58.50 / 68.17 / 32.80 / 43.15 / 39.46
Aquila-135M	BAAI	135M	25.19 / 25.10	54.59 / 67.52 / 34.40 / 41.67 / 39.66

数据集	obqa	ceval	piqa	siqa	arc	hellaswag	cmmlu
样本量	500	~1.3k	1838	1954	2376	10042	11582
± 标准误	1.9	1.2	1.2	1.1	0.9	0.5	0.4

排名	模型	准确性 (30分)	完整性 (30分)	逻辑性 (20分)	代码质量 (20分)	总分 (100分)
1	B	11	23	16	18	68
2	D	25	19	15	3	62
3	A	10	21	13	17	61
4	C	8	6	5	2	21

"大道至简"

📌 项目介绍

🎉 本项目包含以下内容

🎉 已发布模型列表

📝 更新日志

📌 快速开始

第0步

Ⅰ 🚀 模型推理

1' 下载模型

2' CLI 推理

3'（可选）WebUI

4'（可选）第三方推理框架

Ⅱ 🛠️ 模型训练

1' 下载数据

2' 开始训练

2.1 预训练（必须）

2.2 指令微调（必须）

2.3 测试已训练模型（可选）

📌 数据介绍

Ⅰ Tokenizer

Ⅱ Pretrain数据

Ⅲ SFT数据

Ⅳ RL 数据

Ⅴ MiniMind 训练数据集

📌 模型

结构

模型配置

📌 实验

Ⅰ 训练开销

Ⅱ 主要训练（必须）

1' 预训练 (Pretrain):

2' 有监督微调 (Supervised Fine-Tuning):

Ⅲ 其它训练（可选）

3' 知识蒸馏 (Knowledge Distillation, KD)

4' LoRA (Low-Rank Adaptation)

5' 工具调用 & 自适应思考

5.1 Tool Calling

5.2 Adaptive Thinking

Ⅳ 强化学习（可选）

👀 PO算法的统一视角

6' 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF)

6.1 Direct Preference Optimization

7' 基于 AI 反馈的强化学习 (Reinforcement Learning from AI Feedback, RLAIF)

7.1 Proximal Policy Optimization

7.2 Group Relative Policy Optimization

7.3 Clipped Importance Sampling Policy Optimization

7.4 Agentic RL 🔥

🖊️ RL小结

Ⅴ 训练结果开源 📦

① PyTorch模型 (ModelScope | HuggingFace)

② Transformers模型 (ModelScope | HuggingFace)

📌 评估

Ⅰ RL模型对比

测试1：主观问答对比

测试2：轻 Agent 任务对比

👉 综合评价1

Ⅱ 与其他模型对比

测试3：问答

👉 综合评价2

Ⅳ RoPE长度外推

Ⅴ 客观评测

📌 其他

🔧 模型转换

🖥️ 基于 MiniMind 的 API 服务接口

SGLang

vllm

llama.cpp

ollama

MNN

👨‍💻 更多内容

📌 致谢

🤝贡献者

😊鸣谢

🫶支持者

🎉 MiniMind 相关成果

🎓 引用

⚖️ 开源协议