MiniMax H3 的高清重生成环节开源了:可自己部署,跑 5 秒素材约 22 秒
10 月 29 日,英伟达与 MIT 团队在 Hugging Face 放出 Open-H3-Regenerate-2K 权重与推理代码,补上此前只走 API 的高清重生成环节。 团队自述单张 B200 跑 5 秒素材仅 22.45 秒,画质反超官方 API;数字未经复现,用前先核对权重与许可。
速览
- 1支持 2K(2560×1440)输出,最高可做 3840×2160 原生 4K 重生成
- 2单张 B200 上,约 5 秒片段的放大+三步细化+2K 解码从 87.26 秒降到 22.45 秒
- 3RefinerBench-150 上 UniPercept 平均 60.0,官方 H3-Regenerate-2K API 为 53.4
补上的是哪一环
MiniMax H3 的完整流程分为多模态上下文处理、基础音视频生成和高分辨率重生成几段。已开放权重的 H3-Base 负责生成 768P 音视频,而高分辨率重生成的 H3-Regenerate-2K 此前只通过官方 API 提供服务。这次由英伟达与麻省理工学院研究人员组成的 Efficient-Large-Model 团队,在 Hugging Face 放出了 Open-H3-Regenerate-2K 的权重,配套推理代码开在 NVlabs/Sana 仓库——等于给这一环补上了一套能自己部署的开放实现。
三步怎么出片
训练阶段把 H3 Transformer 主干与视频 VAE 的原有参数全部冻结,只训练新增的细化 LoRA。推理时,这个 LoRA 与 LightX2V FL2VA Turbo、LMS Sharp 等社区适配器合并使用,通过三步去噪在目标分辨率下重画细节;视频草稿里的场景、布局和运动信息为这个过程提供基础。
提速主要来自三处:社区开发的潜空间放大器直接放大视频的潜在表示,省掉高分辨率下反复解码、编码的开销;再叠加 SoL-Engine 的稀疏注意力、低精度计算和快速 VAE 解码器。
数字(均为项目团队公布)
项目团队公布的测试条件是单张 NVIDIA B200 GPU、预热后、一段约 5 秒视频:潜空间放大、三步细化和 2K 解码合计耗时 22.45 秒,未优化实现为 87.26 秒,约为原来的 3.9 倍;其中快速解码器把解码耗时从约 15 秒降到约 1.6 秒。
相关阅读
全文 Markdown
一键复制或下载,粘进笔记、文档,或直接喂给 AI