从四进程完整示例开始，建立全局数组、设备Mesh和集体运算顺序的模型，再把它用于按设备与按进程加载、数据并行及跨进程模型副本的一致批次映射。

从残差观察到命名策略、主机卸载、自定义重计算与 scan 层边界，理解内存与计算的交换。

比较 JAX 自动、显式与手动并行模型，借助 shard_map 管理设备网格、本地分片和集合通信。