From 0f3c08628c339c9d555d484c50cdeb431f4ce158 Mon Sep 17 00:00:00 2001 From: zR <2448370773@qq.com> Date: Sun, 1 Sep 2024 18:23:17 +0800 Subject: [PATCH 1/2] update link of colab --- README.md | 4 ++++ README_ja.md | 5 +++++ README_zh.md | 2 ++ sat/diffusion_video.py | 7 ++----- sat/train_video.py | 8 +++----- 5 files changed, 16 insertions(+), 10 deletions(-) diff --git a/README.md b/README.md index e122287..08321c7 100644 --- a/README.md +++ b/README.md @@ -283,6 +283,10 @@ works have already been adapted for CogVideoX, and we invite everyone to use the + [VideoSys](https://github.com/NUS-HPC-AI-Lab/VideoSys): VideoSys provides a user-friendly, high-performance infrastructure for video generation, with full pipeline support and continuous integration of the latest models and techniques. ++ [AutoDL Image](https://www.codewithgpu.com/i/THUDM/CogVideo/CogVideoX-5b-demo): A one-click deployment Huggingface + Space image provided by community members. ++ [Colab Space](https://github.com/camenduru/CogVideoX-5B-jupyter) Run the CogVideoX-5B model using Jupyter Notebook on + Colab. ## Project Structure diff --git a/README_ja.md b/README_ja.md index dee4f21..5eead46 100644 --- a/README_ja.md +++ b/README_ja.md @@ -250,8 +250,10 @@ pipe.vae.enable_tiling() 精度を使用する必要があり、これには `torch`、`torchao`、`diffusers`、および `accelerate` Python パッケージをソースからインストールする必要があります。`CUDA 12.4` が推奨されます。 + + 推論速度テストでも、上記のVRAM最適化スキームを使用しました。VRAMの最適化を行わない場合、推論速度は約10％向上します。量子化をサポートするのは `diffusers` バージョンのモデルのみです。 + + モデルは英語入力のみをサポートしており、他の言語は大規模なモデルでのリファイン時に英語に翻訳できます。 ## 友好的リンク @@ -261,6 +263,9 @@ pipe.vae.enable_tiling() + [Xorbits Inference](https://github.com/xorbitsai/inference): 強力で包括的な分散推論フレームワークであり、ワンクリックで独自のモデルや最新のオープンソースモデルを簡単にデプロイできます。 + [VideoSys](https://github.com/NUS-HPC-AI-Lab/VideoSys): VideoSysは、使いやすく高性能なビデオ生成インフラを提供し、最新のモデルや技術を継続的に統合しています。 ++ [AutoDLイメージ](https://www.codewithgpu.com/i/THUDM/CogVideo/CogVideoX-5b-demo): コミュニティメンバーが提供するHuggingface + Spaceイメージのワンクリックデプロイメント。 ++ [Colab Space](https://github.com/camenduru/CogVideoX-5B-jupyter) ColabでJupyter Notebookを使用してCogVideoX-5Bモデルを実行します。 ## プロジェクト構造 diff --git a/README_zh.md b/README_zh.md index afd95e9..4eba696 100644 --- a/README_zh.md +++ b/README_zh.md @@ -253,6 +253,8 @@ pipe.vae.enable_tiling() + [VideoSys](https://github.com/NUS-HPC-AI-Lab/VideoSys): VideoSys 提供了易用且高性能的视频生成基础设施，支持完整的管道，并持续集成最新的模型和技术。 + [AutoDL镜像](https://www.codewithgpu.com/i/THUDM/CogVideo/CogVideoX-5b-demo): 由社区成员提供的一键部署Huggingface Space镜像。 ++ [Colab Space](https://github.com/camenduru/CogVideoX-5B-jupyter) 使用 Jupyter Notebook 运行 CogVideoX-5B 模型的 Colab + 代码。 ## 完整项目代码结构 diff --git a/sat/diffusion_video.py b/sat/diffusion_video.py index 951e93e..7f98752 100644 --- a/sat/diffusion_video.py +++ b/sat/diffusion_video.py @@ -1,8 +1,6 @@ import math -from contextlib import contextmanager -from typing import Any, Dict, List, Tuple, Union, Optional -from omegaconf import ListConfig, OmegaConf -from copy import deepcopy +from typing import Any, Dict, List, Tuple, Union +from omegaconf import ListConfig import torch.nn.functional as F from sat.helpers import print_rank0 @@ -21,7 +19,6 @@ from sgm.util import ( ) import gc from sat import mpu -import random class SATVideoDiffusionEngine(nn.Module): diff --git a/sat/train_video.py b/sat/train_video.py index 62f2136..b63bca8 100644 --- a/sat/train_video.py +++ b/sat/train_video.py @@ -1,10 +1,8 @@ import os import argparse from functools import partial -from PIL import Image import numpy as np import torch.distributed -import torchvision from omegaconf import OmegaConf import imageio @@ -13,12 +11,12 @@ import torch from sat import mpu from sat.training.deepspeed_training import training_main -from sgm.util import get_obj_from_str, isheatmap, exists +from sgm.util import get_obj_from_str, isheatmap from diffusion_video import SATVideoDiffusionEngine -from arguments import get_args, process_config_to_args +from arguments import get_args -from einops import rearrange, repeat +from einops import rearrange try: import wandb From 24ea0e9417a11f45242f33ecab5e7d47cce66d14 Mon Sep 17 00:00:00 2001 From: zR <2448370773@qq.com> Date: Sun, 1 Sep 2024 18:28:54 +0800 Subject: [PATCH 2/2] Update cli_demo_quantization.py --- inference/cli_demo_quantization.py | 4 +++- 1 file changed, 3 insertions(+), 1 deletion(-) diff --git a/inference/cli_demo_quantization.py b/inference/cli_demo_quantization.py index f064072..7a702f2 100644 --- a/inference/cli_demo_quantization.py +++ b/inference/cli_demo_quantization.py @@ -85,7 +85,9 @@ def generate_video( # pipe.transformer.to(memory_format=torch.channels_last) # for FP8 should remove pipe.enable_model_cpu_offload() pipe.enable_model_cpu_offload() - pipe.enable_sequential_cpu_offload() + + # This is not for FP8 and INT8 and should remove this line + # pipe.enable_sequential_cpu_offload() pipe.vae.enable_slicing() pipe.vae.enable_tiling() video = pipe(