许岚, 马月昕, 林竹雨 (1)
2026 年 春学期
许岚 马月昕 林竹雨
我是本课程的助教 KPH。这门课程第一年开设，我也负责了上半程的内容准备与一部分的授课。
上半程的课程定位非常清晰：从基础自然语言处理知识开始，先透彻理解当前常见语言模型（主要基于 Transformer）的架构及原理，再从实践中真枪实弹实现一个完整的语言模型。此后过渡到实际工程实践中的常用框架（hf & wandb），最后选讲一些工程实践中的定量分析问题。
以上的内容正好对应了我们上半程的 9 个 Lecture，以此划分成四个循序渐进的部分。
我是本课程的助教 KPH。这门课程第一年开设，我也负责了上半程的内容准备与一部分的授课。
上半程的课程定位非常清晰：从基础自然语言处理知识开始，先透彻理解当前常见语言模型（主要基于 Transformer）的架构及原理，再从实践中真枪实弹实现一个完整的语言模型。此后过渡到实际工程实践中的常用框架（hf & wandb），最后选讲一些工程实践中的定量分析问题。
以上的内容正好对应了我们上半程的 9 个 Lecture，以此划分成四个循序渐进的部分。
Lec1：基础自然语言处理。考虑到选课人群中有相当一部分并没有学过《自然语言处理》这门课，所以我们从最基础的词向量编码开始介绍，逐步推进到语言建模的概念，并介绍一些简单的语言模型，进行 NLP 基础知识的扫盲。
Lec2：Transformer 的基本架构。这一讲主要还是基于 2017 年 original Transformer 论文中的原版架构，重点在于彻底讲清模型架构各组件的设计原理，也就是核心 idea 的理解。
Lec3：Transformer 架构的迭代。真正接轨当代模型的一讲，基于 Lec2 的内容，全面梳理了模型架构时至今日的迭代更新，比如 RoPE、MoE 和几种 KV-Cache 的优化，在其中也进行了大量原理的分析推导。
以上三讲对应了第一部分，也就是作为整门课奠基的理论知识部分。
Lec4：BPE 分词器的工程实现。
Lec5：Transformer 架构的工程实现。
Lec6：模型训练与解码的工程实现。
以上三讲是第二部分，也就是完整手搓并训练 LLM 的工程实战。值得一提的是，我们在 Lec6 中新加入了十几页 PPT 的篇幅专门介绍 AdamW 优化器的数学原理，而这是在模板课程（Stanford CS336）中没有的。
Lec7：Hugging Face
Lec8：wandb
第三部分，内容虽然不多，但重要性不必多说。虽然彻底理解 LLM 架构确实需要动手完整实现，但现实的科研及工业生产中并不需要手搓模型，而是直接利用成熟的框架和工具即可。这也是我们的课程考虑到受众均为本科生，从而相比 CS336 额外添加的部分。
Lec9：资源计算。大致分为显存估算与计算量估算两大部分，以此扩展到通过已有硬件条件估算最大 batch_size 与训练时长的问题。
最后一部分。非常遗憾，由于授课时长有限，本来打算再加一个 Lec10，细讲一下模型参数化以及神经网络 activations 尺度的分析（这和我 26 年寒假期间做过的科研项目也有很强的关联），如果以后有机会的话，能加上还是很有意义的。
总结来说，我们上半程的授课内容有非常鲜明的特色：
下半程的课程内容大概包含了几个模块：
那么，对于这门第一年开设的课程，课程质量和大家的学习情况如何？
拿我自己来说，我大三下学期在负责这门课的同时也在进行 LLM 方向的保研套磁与课题组面试。在好几次面试当中都被提到梳理 Transformer 的架构与 2017 年至今的架构迭代。这正好分别对应了我们 Lec2 和 Lec3 的内容，或者说是这两讲的子集。事实证明每次面试当中直接使用 Lec2/3 中的知识进行作答有碾压级别的表现，尤其是 Lec3（架构迭代）部分的内容非常全面，基本都取得了超出导师预期的效果，从未有过翻车案例。
从大家的成绩来讲，这门课程开设的第一年就达成了所有选课者综合分均为 60 分以上，通过率 100% 的纪录，大家基本上也都能较为完整地完成三次作业，这是很不容易的。
但当前存在的问题也是不可忽视的。首先从课程内容与容量上来讲，8 周的课时来讲全 LLM 方向的知识与工程实践技能是远远不够的。所以我们只在和预训练（即模型架构相关）的领域做了非常细致的讲解与练习（作业 1、2），而在后训练部分仅涉及了 SFT 与作业 3 的练习，其他很多后训练的技术都是缺失的（这也是我自己在知识上的盲区，我也急需进行补课）。而作为 2026 年非常热门的 Agent 则完全没有涉及，完全没有与 harness 相关的知识介绍与实操练习。
而在作业的线下检查过程中，我们也发现了明显的问题：许多同学的掌握程度是有很大的上升空间的。我在作业 1、作业 3 的检查过程中遇到了很多同学，在这两次作业写完的前提下连 FFN 模块的名字都不记得、Attention 模块的 forward 流程只能答上 “应该有 RoPE”（在课上曾经对 Attention 进行了大量板书推导与大半节课的讲解）。这种掌握程度下作业能拿将近满分是非常不正常的。考虑到这门课程的难度，我们没有像某些课程一样采取严格到死板教条甚至不切实际的查重 / 查 AI 率与扣分，但靠这种手段勉强拿分，什么都没学到的结果是令人遗憾的。
LLM 领域迭代速度非常快，这使得在可预见的范围内，今年授课的内容在明年春学期很可能就显得不够前沿。所以明年的具体授课内容仍有很大变数，授课容量可能也要明显超出今年。
但我们目前仍需要基于复盘出的问题，理清我们能够在明年至少需要添加些什么，明年的课程应当大致按照什么脉络展开。我目前的思路是按照 “预训练”、“后训练”、“Harness 与 Agent” 三大部分展开。
这其实就是占了我们今年一大半的内容，即作业 1 和作业 2 的覆盖范围（模型架构、Scaling Laws 与具体的模型训练）。这一部分目前相对完善，明年可能要添加的内容主要在于 Lec3 的模型架构迭代一讲，囊括进最近一年里新的架构迭代内容。
我们今年的 SFT 正是后训练的一部分。但目前还有很多后训练相关的技术，我们可能会在明年适量削减预训练部分的课时，兼顾后训练的介绍与练习。如果条件允许，明年后训练相关的作业可能会不止 SFT 一项。
这也和我这段时间校外科研实习做的工作高度相关。Agent 是当前阶段的热门，但主要在于工程而非数学原理，所以即使加入也不会占太多课时。我们可能会介绍一些常用的框架，并介绍一些当前非常重要的 Agent 应用（如 Auto research）
今年建立课程框架花费了极大的时间与精力，而明年课程内容的改革同样不会轻松。这也使得我们仍然需要有知识储备与专业技能的助教加入我们，共同进行课程的优化迭代。有意者请邮件联系我：kuangph2023@shanghaitech.edu.cn