### Checklist / 检查清单 - [x] I have searched existing issues, and this is a new bug report. / 我已经搜索过现有的 issues,确认这是一个新的 bug report。 ### Bug Description / Bug 描述 Qwen SFT 的数据预处理未完整支持独立的 `reasoning_content` 字段。将思考放进 `content` 的 `<think>...</think>` 中后,如果思考本身引用了字面 `<think>` 或 `</think>`,模板会把引用误认为思考边界,造成前文丢失或思考/正文错分。 希望训练链路能保留独立的 `reasoning_content` 和 `content`,直接按字段生成 token ids,边界采用特殊 token;字段内引用的 `<think>`/`</think>` 则保留原文、编码为普通 token。 ### How to Reproduce / 如何复现 环境:ms-swift **4.5.3**、Transformers **5.16.1**、tokenizers **0.23.2**,模型 **Qwen3.8-27B**。4.6.1 源码仍保留下述处理。 **1. 独立思考字段被预处理移除:** ```python from swift.dataset.preprocessor.core import RowPreprocessor row = {"messages": [{ "role": "assistant", "reasoning_content": 'BEFORE quote "<think>" then AFTER', "content": "answer", }]} RowPreprocessor._check_messages(row) print(row) # {'messages': [{'role': 'assistant', 'content': 'answer'}]} ``` **2. 改为合并的 content 后,引用会触发错误切分:** 将下面的 assistant `content` 传给官方 `Qwen3_5Template._swift_prepare_inputs`(Qwen3.8 继承该处理): ```text <think> BEFORE quote "<think>" then AFTER </think> answer ``` 实际规范化结果: ```text <think> " then AFTER </think> answer ``` `BEFORE quote "<think>` 被删除。预期保留完整思考文本 `BEFORE quote "<think>" then AFTER`。 ### Additional Information / 补充信息 原因位于 [Qwen 模板规范化](https://github.com/modelscope/ms-swift/blob/v4.5.3/swift/template/templates/qwen.py):先 `partition('</think>')`,再 `rsplit('<think>', 1)`。前者会把思考中引用的结束标记当成边界,后者会把引用的开始标记当成外层开头。 [消息预处理](https://github.com/modelscope/ms-swift/blob/v4.5.3/swift/dataset/preprocessor/core.py)仅保留 `role/content/loss/loss_scale`。这使得独立字段无法原样到达模板,而合并成字符串又丢失了字面文本与协议边界的区别。上述文本丢失发生在 tokenization 之前。 相关独立字段支持提案:#3159。
Activity
Mubuky commentedon Nov 14, 2026
补充一个工具调用消息的复现:
normalize_openai_tool_calls()也会丢失独立的reasoning_content。即使保留了普通消息预处理中的该字段,经过这一步转换后仍会丢失。在 ms-swift 4.5.3 中运行:
实际输出:
[ {"role": "assistant", "content": "body"}, {"role": "tool_call", "content": {"name": "test", "arguments": {}}}, ]KEEP_REASONING没有出现在任何输出字段中。这条输入不含 think 标记,也会发生字段丢失。该函数在复制 assistant 消息时只保留
role/content/loss/loss_scale,生成工具调用消息时也没有传递思考字段。4.6.1 源码仍有相同处理。预期:转换工具调用格式时,完整保留该轮思考,并让其在训练模板中位于工具调用之前,只监督一次。
fix(qwen): encode structured reasoning without splitting literal tags
Mubuky commentedon Nov 14, 2026
两组修复已提交:
reasoning_content,包括空正文场景和监督元数据。