Skip to content

支持从oss/s3读取或写入checkpoint #10485

Open

Description

@JimmyWang6

Checklist / 检查清单

  • I have searched existing issues, and this is a new feature request. / 我已经搜索过现有的 issues,确认这是一个新的 Feature Request。

Feature Request Description / Feature Request 描述

需要支持从oss或者s3等更低成本的存储介质中读取checkpoint,以节省成本。愿意贡献pr

Pull Request / Pull Request 信息

No response

Activity

  1. JimmyWang6 commented on Nov 17, 2026

    @JimmyWang6
    Author

    Hi @Jintao-Huang @hjh0119 各位owner, 想问下社区对于这块有没有支持的计划

  2. tastelikefeet commented on Nov 17, 2026

    @tastelikefeet
    Collaborator

    我理解下,oss 和 s3 的 ckpt 读取和写入对代码的改变是?目前是按照普通的文件读写方式来做的

  3. taking-lying-flat commented on Nov 17, 2026

    @taking-lying-flat
    Contributor

    Hi @Jintao-Huang @hjh0119 @taking-lying-flat 各位owner, 想问下社区对于这块有没有支持的计划

    我不是。owner 了。抬爱了。 能撤回下吗

  4. JimmyWang6 commented on Nov 19, 2026

    @JimmyWang6
    Author

    我理解下,oss 和 s3 的 ckpt 读取和写入对代码的改变是?目前是按照普通的文件读写方式来做的

    @tastelikefeet 感谢回复
    这个issue是希望 checkpoint 路径可以直接配置为 oss://... 或 s3://...,由框架完成对象存储的读写,无需先将完整文件下载到本地磁盘,或先保存到本地再上传
    目前的流程是:

    • 读取:对象存储 → 本地 SSD → 加载到 GPU 显存
    • 保存:从 GPU 显存导出 → 本地磁盘 → 上传对象存储

    期望省去中间的磁盘落盘环节,通过流式读取、分片上传等方式完成 checkpoint 的加载和保存,并结合异步预取、内存缓冲或可选的本地缓存提升性能。

    这样做好处有两点

    1. 节省一次磁盘读写
    2. 节省存储空间和成本
  5. tastelikefeet commented on Nov 19, 2026

    @tastelikefeet
    Collaborator

    我理解下,oss 和 s3 的 ckpt 读取和写入对代码的改变是?目前是按照普通的文件读写方式来做的

    @tastelikefeet 感谢回复 这个issue是希望 checkpoint 路径可以直接配置为 oss://... 或 s3://...,由框架完成对象存储的读写,无需先将完整文件下载到本地磁盘,或先保存到本地再上传 目前的流程是:

    • 读取:对象存储 → 本地 SSD → 加载到 GPU 显存
    • 保存:从 GPU 显存导出 → 本地磁盘 → 上传对象存储

    期望省去中间的磁盘落盘环节,通过流式读取、分片上传等方式完成 checkpoint 的加载和保存,并结合异步预取、内存缓冲或可选的本地缓存提升性能。

    这样做好处有两点

    1. 节省一次磁盘读写
    2. 节省存储空间和成本

    好的,我看下如何实现

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions