Merge pull request #224 from THUDM/CogVideoX_dev

update link

README.md

@@ -283,6 +283,10 @@ works have already been adapted for CogVideoX, and we invite everyone to use the
 + [VideoSys](https://github.com/NUS-HPC-AI-Lab/VideoSys): VideoSys provides a user-friendly, high-performance
   infrastructure for video generation, with full pipeline support and continuous integration of the latest models and
   techniques.
++ [AutoDL Image](https://www.codewithgpu.com/i/THUDM/CogVideo/CogVideoX-5b-demo): A one-click deployment Huggingface
+  Space image provided by community members.
++ [Colab Space](https://github.com/camenduru/CogVideoX-5B-jupyter) Run the CogVideoX-5B model using Jupyter Notebook on
+  Colab.
 
 ## Project Structure
 

README_ja.md

@@ -250,8 +250,10 @@ pipe.vae.enable_tiling()
   精度を使用する必要があり、これには `torch`、`torchao`、`diffusers`、および `accelerate` Python
   パッケージをソースからインストールする必要があります。`CUDA 12.4` が推奨されます。
 +
+
 推論速度テストでも、上記のVRAM最適化スキームを使用しました。VRAMの最適化を行わない場合、推論速度は約10％向上します。量子化をサポートするのは `diffusers`
 バージョンのモデルのみです。
+
 + モデルは英語入力のみをサポートしており、他の言語は大規模なモデルでのリファイン時に英語に翻訳できます。
 
 ## 友好的リンク
@@ -261,6 +263,9 @@ pipe.vae.enable_tiling()
 + [Xorbits Inference](https://github.com/xorbitsai/inference):
   強力で包括的な分散推論フレームワークであり、ワンクリックで独自のモデルや最新のオープンソースモデルを簡単にデプロイできます。
 + [VideoSys](https://github.com/NUS-HPC-AI-Lab/VideoSys): VideoSysは、使いやすく高性能なビデオ生成インフラを提供し、最新のモデルや技術を継続的に統合しています。
++ [AutoDLイメージ](https://www.codewithgpu.com/i/THUDM/CogVideo/CogVideoX-5b-demo): コミュニティメンバーが提供するHuggingface
+  Spaceイメージのワンクリックデプロイメント。
++ [Colab Space](https://github.com/camenduru/CogVideoX-5B-jupyter) ColabでJupyter Notebookを使用してCogVideoX-5Bモデルを実行します。
 
 ## プロジェクト構造
 

README_zh.md

@@ -253,6 +253,8 @@ pipe.vae.enable_tiling()
 + [VideoSys](https://github.com/NUS-HPC-AI-Lab/VideoSys): VideoSys 提供了易用且高性能的视频生成基础设施，支持完整的管道，并持续集成最新的模型和技术。
 + [AutoDL镜像](https://www.codewithgpu.com/i/THUDM/CogVideo/CogVideoX-5b-demo): 由社区成员提供的一键部署Huggingface
   Space镜像。
++ [Colab Space](https://github.com/camenduru/CogVideoX-5B-jupyter) 使用 Jupyter Notebook 运行 CogVideoX-5B 模型的 Colab
+  代码。
 
 ## 完整项目代码结构
 

inference/cli_demo_quantization.py

@@ -85,7 +85,9 @@ def generate_video(
     # pipe.transformer.to(memory_format=torch.channels_last)
     # for FP8 should remove  pipe.enable_model_cpu_offload()
     pipe.enable_model_cpu_offload()
-    pipe.enable_sequential_cpu_offload()
+
+    # This is not for FP8 and INT8 and should remove this line
+    # pipe.enable_sequential_cpu_offload()
     pipe.vae.enable_slicing()
     pipe.vae.enable_tiling()
     video = pipe(

sat/diffusion_video.py

@@ -1,8 +1,6 @@
 import math
-from contextlib import contextmanager
+from typing import Any, Dict, List, Tuple, Union
-from typing import Any, Dict, List, Tuple, Union, Optional
+from omegaconf import ListConfig
-from omegaconf import ListConfig, OmegaConf
-from copy import deepcopy
 import torch.nn.functional as F
 
 from sat.helpers import print_rank0
@@ -21,7 +19,6 @@ from sgm.util import (
 )
 import gc
 from sat import mpu
-import random
 
 
 class SATVideoDiffusionEngine(nn.Module):

sat/train_video.py

@@ -1,10 +1,8 @@
 import os
 import argparse
 from functools import partial
-from PIL import Image
 import numpy as np
 import torch.distributed
-import torchvision
 from omegaconf import OmegaConf
 import imageio
 
@@ -13,12 +11,12 @@ import torch
 from sat import mpu
 from sat.training.deepspeed_training import training_main
 
-from sgm.util import get_obj_from_str, isheatmap, exists
+from sgm.util import get_obj_from_str, isheatmap
 
 from diffusion_video import SATVideoDiffusionEngine
-from arguments import get_args, process_config_to_args
+from arguments import get_args
 
-from einops import rearrange, repeat
+from einops import rearrange
 
 try:
     import wandb