Kandinsky 6.0 在 16 GB GPU 上：官方配方内存溢出，只有 29B 模型通过西班牙语测试

📌 One-Sentence Summary

这篇文章详细介绍了一种在 16 GB GPU 上高效运行 Kandinsky 6.0 的实现，采用了两步法来处理大型模型组件。结果显示，小模型未能满足语音准确性要求，但 29B Pro 模型成功生成了具有准确西班牙语音频的高质量视频。

📝 Summary

作者探讨了在 16 GB GPU 上运行 Kandinsky 6.0 视频生成模型的可能性，并特别针对其生成西班牙语音频的能力进行测试。最初使用官方配方尝试失败，因为内存不足，这促使作者开发了一种自定义的两步法，成功在硬件限制内运行模型。评估显示，只有较大参数量的 29B 模型能够产生准确的语音，满足设定的质量阈值。

💡 Main Points

官方 Kandinsky 6.0 配方与 16 GB GPU 不兼容。

标准实现要求加载整个模型，包括大型 Qwen2.5-VL 文本编码器，这将超出可用内存。这导致了“CUDA 显存不足”错误，使得模型无法在消费级硬件上使用，除非进行修改。

一个两步法成功地在 16 GB GPU 上运行模型。

通过将计算分成两个独立阶段——首先生成提示嵌入，然后生成视频——内存占用率被显著降低。这使得模型能够高效运行，最多使用 11.24 GB 的 GPU 内存和大约 45.9 GB 的系统 RAM。

只有 29B Pro 模型达到了可接受的语音质量。

评估标准要求中值单词错误率（WER）低于或等于 0.20。虽然较小的模型（Lite 精简版和 Lite 未精简版）未能达到这一标准，但 29B Pro 模型实现了 0.15 的 WER，这表明所生成音频的质量有了显著提升。

💬 Key Quotes

在一台租用的 16 GB RTX 4080 上，README 中的配方（按组件 CPU 离散加载）在运行精简版模型时内存溢出了；仅 Qwen2.5-VL 文本编码器的文件就占用了 15.45 GiB。

📊 Article Meta

AI Screening： 88

Source： DEV Community: machinelearning

Author： Efrain Garay

Category： 人工智能

Language： 英文

Read Time： 2 min

Word Count： 313

Tags：

AI 与智能应用 , 模型训练与推理 , AI 硬件与芯片 , 大语言模型 (LLM) , 测试与质量