12GB VRAMで動かすCosmos 3:メタデバイス問題の回避と高速推論の実践
NVIDIAが公開した最新のCosmos 3を12GB VRAM環境(RTX 3080 Ti)で動作させる検証を実施。メタデバイスロード時に発生する『NotImplementedError: Cannot copy out of meta tensor』バグを、accelerateのモンキーパッチにより回避し、画像・動画生成をVRAM内で完結させる具体的な実装とコードレベルの最適化手法を詳しく解説します。
もっと読む →