Repository navigation
[FSDP] Supp FSDP save HF ckpt - #79946
Conversation
Paddle-Bot Review Board (review完成)
可维护性建议(总分 87.9 / 100,只给建议,不影响评审结论)
各维度得分(仅评本 PR 改动,点击展开)
Powered by Nyanpasu claude with Opus 5.5 默认推理级别, please check the suggestions carefully. |
| released.append((param, param.shape)) | ||
| value._share_buffer_to(param) | ||
| del full | ||
| self.model.sharded_state_dict = self._model_sharded_state_dict |
There was a problem hiding this comment.
这里把 model.sharded_state_dict 切回模型原始实现,导致 full_param 拿到的是没有经过 FSDP 修正的描述。FullyShardFusion.sharded_state_dict 第 1626-1639 行专门处理了一种情况:EP>1 时,模型把专家参数描述为 replicated(global_shape == local_shape),这时要把 EP 折叠到第 0 维,"to keep keys distinct"。full() 绕过了这段折叠,各 EP rank 的专家分片会带着相同的 key、global_offset 和 slice_shape 进入 full_param。dedup_read_items(full_param.py 第 250-259 行)按 (tensor_name, src_global_offset, slice_shape) 去重后只保留 rank 最小的那份,导出的 HF 权重会静默丢掉其余 EP rank 的专家,并且不会报错。
建议导出时同样应用 EP 折叠,例如在原始描述上复用第 1626-1639 行的 global_shape/global_offset 修正。如果确认这种场景不支持,请在 full() 里对 is_expert_param 且 EP>1 的组显式报错,并补充 EP>1 的多卡导出测试。
| value._share_buffer_to(param) | ||
| del full | ||
| self.model.sharded_state_dict = self._model_sharded_state_dict | ||
| try: |
There was a problem hiding this comment.
try/finally 从第 1704 行才开始,第 1676-1702 行的收集循环不在保护范围内。循环里已经对前面若干 group 执行了 value._share_buffer_to(param),如果后面某个 group 的 paddle.empty([total_buffer_size]) 申请显存失败(大 buffer 时可能 OOM),或者 all_gather、build_ckpt_weight 抛错,前面这些参数会一直绑在 CPU 数据上(_is_initialized() 为 True),后续 forward 的 all_gather_params 会在这份 CPU 存储上做 _share_data_with,状态不一致。_base_sharded_state_dict 同样是"先绑定、再还原",但它的回滚覆盖了完整流程。
另外 full() 现在是生成器:调用方如果中途 break,或者没迭代完就丢弃,finally 要等到 GC 才会执行,在此之前参数保持 CPU 绑定,model.sharded_state_dict 也还停在原始实现上。
建议把 released = [] 之后的收集循环和第 1703 行的替换一起放进 try,finally 只还原 released 里已经绑定的参数;同时在 docstring 中说明调用方必须迭代完或显式 close()。
| full = params_buffer.data_buffer | ||
| if params_buffer.fp8 is not None: | ||
| full = build_ckpt_weight(params_buffer, group.dtype) | ||
| if params_buffer.is_sharded: |
There was a problem hiding this comment.
新增测试 TestFullToCpu 只用 SimpleNamespace 覆盖了 is_sharded=False、fp8=None 的单进程路径。导出正确性的关键分支都没有覆盖:本行开始的分片 all_gather 后按 param_offsets 切片、第 1682-1683 行 fp8 build_ckpt_weight 的 dtype 转换、full_param.py 中 HV 路径新增的 CPU→CUDA 搬运(现有 test_model_full_param.py 的 HV 用例源张量都在 GPU 上),以及导出后再次 forward/step 时参数状态是否正常。按仓库规则,分布式行为需要有代表性的多进程覆盖。
建议在 test/collective/fleet/dygraph_group_fsdp.py 中增加一个多卡用例:训练一步后调用 model.full()(同时覆盖 HV 分组),将导出结果和 unshard_params 下的参数做逐项比较,然后再跑一步 forward/backward,确认参数已重新释放、训练能继续。
| if not params: | ||
| continue | ||
| params_buffer = group.params_buffer | ||
| full = params_buffer.data_buffer |
There was a problem hiding this comment.
💡 可维护性建议(命名质量,不阻塞合入):局部变量 full 与方法名同名,并且在循环里先后表示本 rank 的分片 data_buffer、fp8 拷贝和 all_gather 之后的完整 buffer,到第 1686 行才真正是"full"。紧邻的 sharded_state_dict 对同一对象使用 weight。建议沿用 weight,all_gather 的结果另起名(如 gathered),后续切片改用 gathered._slice(...)。
| self._shard_descs[params_buffer.data_buffer.name] = param_slice_info | ||
| return result | ||
|
|
||
| def full(self, aoa_config=None, **kwargs): |
There was a problem hiding this comment.
💡 可维护性建议(契约一致性,不阻塞合入):Layer.full 是普通函数,调用时会立即校验 h_group/v_group、解析 kwargs,并返回 __iter__ 可重复调用的 assembler。这里替换成生成器函数之后,参数错误要等到第一次 next() 才抛出,返回值也只能迭代一次。建议改为先完成参数绑定,再 return 一个负责收尾的迭代器;如果保留生成器写法,请在 docstring 中写明返回只能迭代一次,并说明 model.sharded_state_dict 会被临时替换,同时补上与 Layer.full 一致的类型标注。
| else: | ||
| buffer = paddle.empty(read_item.slice_shape, dtype=read_item.dtype) | ||
| if buffer.place.is_cpu_place(): | ||
| buffer = buffer.cuda() |
There was a problem hiding this comment.
💡 可维护性建议(逻辑清晰度,不阻塞合入):同文件 _run_distributed(第 525-531 行)对 CPU 源张量是 cuda() 通信后再 .cpu() 搬回;这里只做了搬上 GPU,结果会以 GPU 张量的形式缓存进 sharded_desc_to_tensor。两条路径的设备语义不一致,读者无法判断这是有意为之还是遗漏。建议对齐 on_cpu 的写法,或者加一行注释说明 HV 路径的输出固定在 GPU 上,由 memory_growth_threshold 控制峰值。
| finally: | ||
| self.model.sharded_state_dict = self.sharded_state_dict | ||
| for param, shape in released: | ||
| stop_gradient = param.stop_gradient |
There was a problem hiding this comment.
💡 可维护性建议(底层优雅度,不阻塞合入):第 1708-1712 行"保存 stop_gradient → _clear_data() → 恢复 stop_gradient → _set_dims(shape)"与本类 _base_sharded_state_dict 的 finally(第 1568-1573 行)、shard_params、_release_params_after_unit 逐行相同,测试里又新增了一个 _release() 副本。建议抽一个模块级小函数(如 _release_param(param, shape)),这次新增的代码和测试先复用,以后释放语义有调整时只需改一处。
| or tuple(sharded_weight.global_shape) != local_shape | ||
| ): | ||
| continue | ||
| # Expert described as replicated: fold EP into axis 0 to keep keys distinct. |
There was a problem hiding this comment.
💡 可维护性建议(中层优雅度,不阻塞合入):这里的 EP 折叠公式和注释与 sharded_state_dict 第 1632-1641 行逐行相同。两处必须保持一致,full() 导出的 key 才能和 checkpoint 描述对齐,以后只改一处就会让导出与保存悄悄分叉。建议抽一个小函数,如 _fold_expert_desc(local_shape, ep_nranks, ep_rank) -> (global_shape, global_offset),两处共用;ep_nranks/ep_rank 的获取也可以一并复用。
Codecov Report❌ Patch coverage is
Additional details and impacted files@@ Coverage Diff @@
## develop #79946 +/- ##
==========================================
Coverage ? 92.15%
==========================================
Files ? 2
Lines ? 51
Branches ? 0
==========================================
Hits ? 47
Misses ? 4
Partials ? 0 ☔ View full report in Codecov by Harness. 🚀 New features to boost your workflow:
|
PR Category
Distributed Strategy
PR Types
New features
Description
FSDP 训练下
save_hf_steps导出 HF 权重时报Tensor not initialized:参数存储已被 FSDP 释放,model.full()无法读取数据。本 PR 由 FSDP 模块接管
model.full:sharded_state_dict,对描述为 replicated 的专家参数按 EP 折叠到第 0 维(与 FSDPsharded_state_dict一致),再调用模型原有的full,复用原有的 HV 组装与写盘流程;sharded_state_dict。full_param的 HV 路径支持 CPU tensor 参与。是否引起精度变化
否