（四）ML System/AI System学习路径

顺序

资源

知识分类/使用方法

推荐指数

链接和介绍

1

操作系统

【基础】

NA

Computer Systems(OS)学习路径

1

计算机体系结构

【基础】

NA

Computer Systems(Architecture)学习路径

1

编译原理

【基础】

NA

Languages and Compilers学习路径

1

分布式系统

【基础】熟悉常见分布式系统原理，mapreduce, spark, flink, tensorflow 等

NA

Distributed System学习路径

2

CMU DL System CMU 10-414/714

【大局观】【视频课程】

4

https://dlsyscourse.org/

https://csdiy.wiki/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%B3%BB%E7%BB%9F/CMU10-414/

课程网站：https://dlsyscourse.org

课程视频：https://www.youtube.com/watch?v=qbJqOFMyIwg

https://www.bilibili.com/video/BV1ERtYepEpy/?vd_source=72867308e8b7b6d7774a7e4be6278f68

课程作业：https://dlsyscourse.org/assignments/

==

陈天奇老师的课,涉及nn库实现,自动微分,GPU加速,模型部署和部分AI编译内容,内容除了分布式训练涉及的不够,基础的MLsys还是非常全面的.

==

不然先自己写一个DL framework吧，推一推基础公式（比如矩阵微分），实现一下各种基础算子、优化器、自动微分、NDArray（包括CPU、GPU等后端），把ResNet跑起来。然后在这上面实现些简单点的research ideas，比如天奇哥的checkpointing。我试过一次，在做完CMU 10-414/714 DLSys后，把各个作业集成为了一个整体的框架，然后在上面加了一些东西。基础功能大概陆续花了一个多月，其实专心点或者DL基础好点的话可能十几二十天就可以。刚把基础功能的代码发布到了下面仓库里，欢迎star哈。GitHub - Sunt-ing/stickgithub.com/Sunt-ing/stick后续的话，可以根据自己的兴趣搞点Attention、ONNX、算子优化啥的，用上各种库，实现各种算法。分布式的话，可以看看Megatron和DeepSpeed的源码，然后也可以挑一些实现到你的项目里。

2

CSE599W Systems for ML by 陈天奇

【大局观】【视频课程】

2

https://dlsys.cs.washington.edu/

https://www.cnblogs.com/bigoldpan/p/14477578.html

==

在知乎上，这个领域的巨佬肯定是 @陈天奇 ，他的课程CSE 599W System for ML，因为看的时间太久了，竟然忘了推荐，必备读物。

2

AI系统 by ZOMI酱

【大局观】【视频课程】

1

https://chenzomi12.github.io/index.html

https://space.bilibili.com/517221395

本开源项目主要是跟大家一起探讨和学习人工智能、深度学习的系统设计，而整个系统是围绕着在 NVIDIA、ASCEND 等芯片厂商构建算力层面，所用到的、积累、梳理得到 AI 系统全栈的内容。希望跟所有关注 AI 开源项目的好朋友一起探讨研究，共同促进学习讨论。

2

UCSD CSE 234: Data Systems for Machine Learning

【大局观】【视频课程】

1

https://hao-ai-lab.github.io/cse234-w25/

2

AI System School by HuaizhengZhang

【大局观】【视频课程】

1

https://github.com/HuaizhengZhang/AI-System-School

2

Michigan EECS 598: System for AL (W’21)

【大局观】【视频课程】

1

https://github.com/mosharaf/eecs598

2

MLSys 15_884

【大局观】

和15-849 和 884一起看

http://giantpandacv.com/project/%E9%83%A8%E7%BD%B2%E4%BC%98%E5%8C%96/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%BC%96%E8%AF%91%E5%99%A8/MLSys%2015_884%20Course%20Introduction/
这个系列的文章， 准备主打 CMU 的 machine learning systems 课程，上 catalyst 的 web 搜了下，有两门课：15-849 和 884。zhihao jia 的 15-849 其实和 tianqi chen 的 15-884 有很多相同的成分，所以这个系列的 blog，我会选取这两个课程的并集，将所有涵盖的 slides，和 paper reading 都根据自己的理解讲一遍，

3

《机器学习系统：设计和实现》

【大局观】

5

https://openmlsys.github.io/#

https://zhuanlan.zhihu.com/p/482984002

华为Mindspore团队(没错,就是我打过工的Team)和一群大佬AP搞的, 计算图,编译器前后端,分布式训练都有涉及,内容比较全面,比较适合有一定基础的人阅读或者作为工具书.

4

MS System for AI

【大局观】

2

https://github.com/microsoft/AI-System

微软发起的,目前还在快速迭代更新的工具书,舍和补全基础.

5

《Deep Learning Systems: Algorithms, Compilers, and Processors for Large-Scale Production》by Andres Rodriguez

【大局观】

2

https://deeplearningsystems.ai/

6

人工智能系统，AI-System 和 System for AI

【大局观】

2

https://github.com/microsoft/AI-System

微软发起的,目前还在快速迭代更新的工具书,舍和补全基础.

7

GiantPandaCVMLSys 入门资料整理

【资源汇总】

1

http://giantpandacv.com/project/%E9%83%A8%E7%BD%B2%E4%BC%98%E5%8C%96/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%BC%96%E8%AF%91%E5%99%A8/MLSys%E5%85%A5%E9%97%A8%E8%B5%84%E6%96%99%E6%95%B4%E7%90%86/

顺序

资源

知识分类/使用方法

推荐指数

链接和介绍

1

Machine Learning Compilation

【视频课程】【编译】

1

https://mlc.ai/summer22-zh/

还是陈天奇老师的课,以TVM为基础, AI编译器这样前沿的领域为数不多的课.

1

深度学习编译器/深度学习推理引擎学习路径

【编译】

NA

2

Mini torch

【实战】

1

https://minitorch.github.io/

完全用python实现的简单torch版本,涉及自动微分,张量,GPU加速.适合新手入门

3

Tiny ML

【视频课程】

1

https://hanlab.mit.edu/courses/2024-fall-65940

MIT韩松针对移动设备,嵌入式系统的课,感谢 @江湖骗子 @Lyken 学长的补充

4

PyTorch框架解读

【pytorch】

1

https://www.zhihu.com/column/c_1654529173862600704

5

2024年MLSys推荐关注列表

【资源汇总】

1

https://zhuanlan.zhihu.com/p/13621083399

https://zhuanlan.zhihu.com/p/13960662604

顺序

资源

知识分类/使用方法

推荐指数

链接和介绍

1

深度学习论文精读

【论文】

1

https://github.com/mli/paper-reading

对于做ML system 的同学而言,了解一些最新的算法也是非常必要的,不用过度关系一些fancy的技巧,更多关注模型架构,参数,大的范式上的变化即可. 算法的业界进展确实太快了,很难有系统的课,某些顶级大学会用讲座的形式开展,去讲GPT,PLAM这样的大模型, 看论文和官方网站,blog是更好的选择.

可以看李沐老师论文精讲去follow一些比较新且影响力巨大的工作, Muli is all you need !!!

2

推荐一些机器学习系统MLSys中的值得研究的方向

【方向拓展】

1

https://developer.aliyun.com/article/1059476

3

机器学习系统领域（MLSys）有哪些顶级的实验室呢？

【学术】

1

https://www.zhihu.com/question/458867286/answer/1882678568

4

AI Chip (ICs and IPs)

【硬件】

1

https://github.com/basicmi/AI-Chip

这里简单总结一下需要掌握的知识点和参考论文

• Data Parallel(数据并行)

• Distributed Data Parallel(分布式数据并行)

• PyTorch Distributed: Experiences on Accelerating Data Parallel Training

• Mix precise Training(混合精度训练)

• Mix precise Training

• Zero Optimizer(零冗余优化器)

• ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning

• Tensor Parallel(张量并行)

• 1D并行:Megatron-LM

• Pipeline Parallel(流水并行)

• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism

• Auto Parallel(自动并行)

• Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning

• Sequence Parallel(序列并行)

• Sequence Parallelism: Long Sequence Training from System Perspective

• Large batch size(超大batch size)

• LARS: Large Batch Training of Convolutional Networks

• MOE(混合专家模型)

• GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding

• Kernal Fusion(算子融合)

• Flash attention: Fast and Memory-Efficient Exact Attention with IO-Awareness

• Optimizer Fusion(优化器融合)

• OPTIMIZER FUSION: EFFICIENT TRAINING WITH BETTER LOCALITY AND PARALLELISM

• Activation checkpoint

• Training Deep Nets with Sublinear Memory Cost

• Fine-tune accelerate(微调加速)

• LoRA: Low-Rank Adaptation of Large Language Models

• Isomorphic training(异构训练)

• PatrickStar: Parallel Training of Pre-trained Models via Chunk-based Dynamic Memory Management

• Asynchronous Distributed Dataflow(异步数据流)

• PATHWAYS: ASYNCHRONOUS DISTRIBUTED DATAFLOW FOR ML

• Distributed Scheduling(分布式调度)

• RLlib: Abstractions for Distributed Reinforcement Learning

• Quant(量化)

• SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

• 大语言模型推理

• FlexGen: High-throughput Generative Inference of Large Language Models with a Single GPU

最后简单给几个Tips,

• 尽可能参与到业界的项目去,多注重落地,在实验玩一些很fancy但不落地的东西意义不大,目前MLsys业界比学界跑的快太多了,学界比较有影响力的工作往往也是何大公司合作的,比如前面提到的Alpa的实验就是在Google的TPU集群和AWS上做的,一般的lab更本没有条件.

• 及时关注各种Blog,新的论文,这个领域每天都有新的东西出来,比如我就比较喜欢每天去twitter,一些Discord channel挖宝,总能带来一些惊喜

• Mlsys是一个交叉全面的领域,除了软件和算法,懂点基本的硬件,学会做产品也很重要,更多时候易用性大于性能.

• 新的东西肯定是看不完的,抓住主干即可,在自己做的部分保证专注

• 拥抱开源社区,不管是github还是huggingface,你永远想象不出开源社区的老哥的创造力