🍭[Roadmap] ms-swift3.9-3.11

[Jintao-Huang]

模型

1. 最新模型接入 P0
2. 多模态padding_free/packing支持更多模型
3. 混合数据训练支持更多多模态模型
4. agent template支持更多模型

训练

1. RAY支持 P0
   a. DPO
   b. GRPO
   c. PPO
2. embedding/reranker/序列分类支持
   a. ✅padding_free
   b. packing P0
3. ✅ulysses & ring attention混合使用支持
4. ✅embedding & reranker 数据集格式重构
5. ms-swift目录结构重构; template与model_type解耦重构 P0

Megatron-SWIFT

1. 新模型支持 P0
2. ✅blockwise FP8 P0
3. ✅MTP支持 P0
4. 多模态支持 ViT部分TP/CP性能优化
5. ✅GRPO P0
6. RLHF支持：✅Reward Model；✅KTO；GKD；MPO
7. 更多训练类型支持：✅序列分类；Embedding；Reranker
8. Deepspeed/fsdp2集成
9. ✅权重转换优化（mcore-bridge）：多机转换；GRPO兼容；去除显式转换步骤；支持LoRA直接导出 P0
10. 存储：按epoch保存; save_total_limit; 异步存储支持 P0
11. ✅VPP与异构PP
12. megatron infer/deploy/eval模块支持

RL

1. GRPO
   a. ✅权重同步优化（LoRA/MoE）P0
   b. ✅训练显存优化
   c. ✅CHORD
   d. training-inference mismatch (TIS/MIS/FP32 lm_head ...)
2. ✅RLOO P0
3. ✅Reinforce++ P0
4. ✅KTO padding_free & packing支持
5. liger_kernel显存优化
6. ✅GKD 支持 vLLM / offload

推理部署

1. ✅reranker推理部署支持
2. sglang支持多模态模型
3. vllm/sglang支持分类模型/RM

量化

1. 量化支持更多类型模型：embedding/reranker/多分类等
2. GPTQ/AWQ升级; ✅GPTQ-v2

ms-swift3.6-3.8 Roadmap: #4561

[geekinglcq]

Qwen3-Next 有计划嘛

[Jintao-Huang]

Qwen3-Next 有计划嘛

已经在PR中了，在做对齐稍等

[xiaoxuanyo]

Qwen3-Next 有计划嘛

已经在PR中了，在做对齐稍等

大佬你好，想请问下channle loss开启后如果report to是swanlab的话，channel loss是不是不会打印啊

[firefighter-eric]

hi, Megatron-SWIFT里提到的 save_total_limit 的feature最近有计划加上吗

[Jintao-Huang]

会的，一周内会加

[Danbinabo]

能不能出个多节点训练不同方式下多机多卡训练的教程：我主要是在进行多级多卡训练的时候遇到训练不起来的问题，前面用deepspeed遇到训练卡住的问题，后面用torchrun训练遇到通讯的问题，正常情况下以两机为例，两机不同的ip,然后怎么创建环境，到通讯，然后能训练起来，多谢！

[cxjcjj]

Megatron-SWIFT 支持 Qwen3 reranker 吗？

[Jintao-Huang]

Megatron-SWIFT 支持 Qwen3 reranker 吗？

有计划的

[wusiping333]

后续会支持reranker 的 rl 吗？ 比如qwen3 模型，输入的是一个正例和多个负例，grpo 的 reward是对 正例和负例的 listwise 的 ndcg或其他自定义的reward

[g2zz]

megatron后续会支持grpo吗

[LinYuOu]

请问qwen3-omni 支持GRPO训练吗？

[Southpika]

大佬 不知道GRPO的megatron啥时候能支持呀