建立可信数据管线
掌握语料来源、清洗、去重、Tokenizer 与 Packing 的关键决策。
← 全部课程
高阶 · 大模型工程
大语言模型预训练：从数据到 MiniGPT
从有来源的语料开始，完整交付一个 MiniGPT
从语料、Tokenizer 到现代 Decoder-only Transformer，完成稳定训练、Checkpoint 与 MiniGPT 交付。
小实验可用 CPU
18 个学习单元
适合你，如果你已经会：熟练 Python、PyTorch 基础、Self-Attention 与命令行；GPU 仅用于正式规模训练。
即将开放 · 价格待定
登录
18个结构化单元
CodeLab边学边写、边写边运行
自主节奏进度自动保存
实现现代 Decoder
理解 Causal Attention、RoPE、RMSNorm 与 SwiGLU 如何协同工作。
稳定训练并交付
处理优化、显存、Checkpoint、监控和评测，完成可复现的 MiniGPT。
你将学到什么
课程大纲
-
01
预训练不是下载模型：我们到底在训练什么
-
02
一块 GPU 能做多少梦：参数、Token 与计算预算
-
03
数据不是“越多越好”：先建立语料身份证
-
04
清洗与去重：别让模型把复读当规律
-
05
Tokenizer：模型看到的不是字，而是编号
-
06
Packing：把文档装进不浪费的训练箱子
-
07
Decoder-only Transformer 全景
-
08
Causal Attention：只许看左边
-
09
RoPE：给注意力装上相对位置感
-
10
RMSNorm 与 SwiGLU：现代 Block 的两个零件
-
11
语言模型损失：答案其实向右错了一格
-
12
开训前的稳定性检查
-
13
AdamW、Warmup 与学习率曲线
-
14
显存不够时怎么办
-
15
Checkpoint 不是只存模型权重
-
16
训练监控与故障诊断
-
17
从一张卡扩展到多张卡
-
18
评估、Scaling Law 与 MiniGPT 交付
服务与购买保障
付款之前，每一项都说清楚
支付验证后自动交付
课程自动加入购买账号，订单与交付状态可以追踪。
即将开放 · 价格待定
课程介绍和完整大纲已经公开；课程尚未开放购买，正式售价与购买入口将在确认后启用。
7 日退款保障
购买后 7 日内，如课程学习进度不超过 10% 且未提交作业，可联系客服申请原路退款；法律法规另有规定的，从其规定。
发票与人工客服
支持申请电子普通发票；付款完成后可联系客服提交准确的开票信息。
准备好了吗？
即将开放 · 价格待定