权重相同、种子相同,像素却不同:将 PixRestore 移植到 ComfyUI

📌 One-Sentence Summary
本文详细介绍了将 PixRestore 图像修复模型集成到 ComfyUI 的过程,重点探讨如何确保模型在不同执行环境中输出一致,以及明确参考基准的重要性。
📝 Summary
将 PixRestore 集成到 ComfyUI 后发现,尽管模型架构和输入数据完全相同,官方脚本与 ComfyUI 节点生成的最终像素值仍存在差异。这种差异源于执行模式(即时执行与编译执行)以及系统级数值设置的不同。本文概述了逐步排查这些变量并实现可复现结果的具体方法,使输出与官方即时执行模式的结果一致。
💡 Main Points
确定参考基准
在尝试匹配输出之前,必须先确立明确的参考基准。本例将「官方」运行定义为使用 PyTorch 2.14.1 和指定版本的依赖项,但 torch.compile 装饰器的存在带来了歧义。为确保基准稳定,比较范围被限定为「即时执行」路径。
排查执行环境变量
独立脚本与 ComfyUI 节点之间的差异,很大程度上是因为节点继承了应用程序的全局设置(例如降低精度的数学运算),而非采用模型预期的配置。集成代码经过调整,会临时覆盖这些全局标志,使其与官方脚本的运行环境一致。
验证图像转换与一致性
由于 ComfyUI 使用浮点张量处理图像,而参考脚本使用 8 位整数,最终转换步骤可能引入误差。实现中加入了专门的检查,确保浮点数到整数的转换符合预期,从而确认视觉输出差异并非数据类型转换造成的假象。
💬 Key Quotes
权重相同。输入图像相同。种子相同。两条推理路径各自都能复现自身的结果。然而,两者输出中有 11.3% 的 8 位通道值存在差异。
节点会继承应用程序的数值设置,而官方参考流程使用了另一套设置。即使检查点和种子匹配,这种差异依然存在。
最后的转换仍属于推理过程的一部分。集成遵循参考流程的归一化与输出转换,再将得到的 8 位值以浮点数形式返回给 ComfyUI。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: GeneLab_999
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1252
Tags:
AI 与智能应用 , 图像修复 , ComfyUI , PixRestore , 模型集成
这个比较实用,已转发给同事。
收藏了,以后慢慢研究。
有没有更详细的教程,期待后续。
点赞,必须点赞
这个观点很中肯,深有同感。
点赞,必须点赞
这个观点很中肯,深有同感。
这个比较实用,已转发给同事。
点赞,必须点赞
点赞,必须点赞
看完了,收获满满,期待更多更新。
实话,说的不明不白