Skip to content

[Bug] Qwen SFT: reasoning_content 被丢弃,思考中引用 <think>/</think> 导致错误切分 #10569

Open

Description

@Mubuky

Checklist / 检查清单

  • I have searched existing issues, and this is a new bug report. / 我已经搜索过现有的 issues,确认这是一个新的 bug report。

Bug Description / Bug 描述

Qwen SFT 的数据预处理未完整支持独立的 reasoning_content 字段。将思考放进 content 的 <think>...</think> 中后,如果思考本身引用了字面 <think> 或 </think>,模板会把引用误认为思考边界,造成前文丢失或思考/正文错分。

希望训练链路能保留独立的 reasoning_content 和 content,直接按字段生成 token ids,边界采用特殊 token;字段内引用的 <think>/</think> 则保留原文、编码为普通 token。

How to Reproduce / 如何复现

环境:ms-swift 4.5.3、Transformers 5.16.1、tokenizers 0.23.2,模型 Qwen3.8-27B。4.6.1 源码仍保留下述处理。

1. 独立思考字段被预处理移除:

from swift.dataset.preprocessor.core import RowPreprocessor

row = {"messages": [{
    "role": "assistant",
    "reasoning_content": 'BEFORE quote "<think>" then AFTER',
    "content": "answer",
}]}
RowPreprocessor._check_messages(row)
print(row)
# {'messages': [{'role': 'assistant', 'content': 'answer'}]}

2. 改为合并的 content 后,引用会触发错误切分:

将下面的 assistant content 传给官方 Qwen3_5Template._swift_prepare_inputs(Qwen3.8 继承该处理):

<think>
BEFORE quote "<think>" then AFTER
</think>

answer

实际规范化结果:

<think>
" then AFTER
</think>

answer

BEFORE quote "<think> 被删除。预期保留完整思考文本 BEFORE quote "<think>" then AFTER。

Additional Information / 补充信息

原因位于 Qwen 模板规范化:先 partition('</think>'),再 rsplit('<think>', 1)。前者会把思考中引用的结束标记当成边界,后者会把引用的开始标记当成外层开头。

消息预处理仅保留 role/content/loss/loss_scale。这使得独立字段无法原样到达模板,而合并成字符串又丢失了字面文本与协议边界的区别。上述文本丢失发生在 tokenization 之前。

相关独立字段支持提案:#3159。

Activity

  1. Mubuky commented on Nov 14, 2026

    @Mubuky
    Author

    补充一个工具调用消息的复现:normalize_openai_tool_calls() 也会丢失独立的 reasoning_content。即使保留了普通消息预处理中的该字段,经过这一步转换后仍会丢失。

    在 ms-swift 4.5.3 中运行:

    from swift.template.template_inputs import normalize_openai_tool_calls
    
    messages = [{
        "role": "assistant",
        "reasoning_content": "KEEP_REASONING",
        "content": "body",
        "tool_calls": [{
            "type": "function",
            "function": {"name": "test", "arguments": "{}"},
        }],
    }]
    print(normalize_openai_tool_calls(messages))

    实际输出:

    [
        {"role": "assistant", "content": "body"},
        {"role": "tool_call", "content": {"name": "test", "arguments": {}}},
    ]

    KEEP_REASONING 没有出现在任何输出字段中。这条输入不含 think 标记,也会发生字段丢失。

    该函数在复制 assistant 消息时只保留 role/content/loss/loss_scale,生成工具调用消息时也没有传递思考字段。4.6.1 源码仍有相同处理。

    预期:转换工具调用格式时,完整保留该轮思考,并让其在训练模板中位于工具调用之前,只监督一次。

  2. Mubuky commented on Nov 14, 2026

    @Mubuky
    Author

    两组修复已提交:

  3. self-assigned this
    on Nov 16, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

bugSomething isn't working

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions