user guide

This commit is contained in:
zR 2024-08-27 16:32:05 +08:00
parent 6d7f6e8601
commit 46703ef7a8
3 changed files with 9 additions and 7 deletions

View File

@ -11,7 +11,7 @@
Experience the CogVideoX-5B model online at <a href="https://huggingface.co/spaces/THUDM/CogVideoX-5B" target="_blank"> 🤗 Huggingface Space</a> or <a href="https://modelscope.cn/studios/ZhipuAI/CogVideoX-5b-demo" target="_blank"> 🤖 ModelScope Space</a> Experience the CogVideoX-5B model online at <a href="https://huggingface.co/spaces/THUDM/CogVideoX-5B" target="_blank"> 🤗 Huggingface Space</a> or <a href="https://modelscope.cn/studios/ZhipuAI/CogVideoX-5b-demo" target="_blank"> 🤖 ModelScope Space</a>
</p> </p>
<p align="center"> <p align="center">
📚 Check here to view <a href="https://arxiv.org/abs/2408.06072" target="_blank">Paper</a> 📚 View the <a href="https://arxiv.org/abs/2408.06072" target="_blank">paper</a> and <a href="https://zhipu-ai.feishu.cn/wiki/DHCjw1TrJiTyeukfc9RceoSRnCh" target="_blank">user guide</a>
</p> </p>
<p align="center"> <p align="center">
👋 Join our <a href="resources/WECHAT.md" target="_blank">WeChat</a> and <a href="https://discord.gg/B94UfuhN" target="_blank">Discord</a> 👋 Join our <a href="resources/WECHAT.md" target="_blank">WeChat</a> and <a href="https://discord.gg/B94UfuhN" target="_blank">Discord</a>
@ -100,6 +100,7 @@ significance of common parameters.
## Gallery ## Gallery
### CogVideoX-5B ### CogVideoX-5B
<table border="0" style="width: 100%; text-align: left; margin-top: 20px;"> <table border="0" style="width: 100%; text-align: left; margin-top: 20px;">
<tr> <tr>
<td> <td>
@ -131,7 +132,8 @@ significance of common parameters.
</tr> </tr>
</table> </table>
### CogVideoX-2B ### CogVideoX-2B
<table border="0" style="width: 100%; text-align: left; margin-top: 20px;"> <table border="0" style="width: 100%; text-align: left; margin-top: 20px;">
<tr> <tr>
<td> <td>
@ -274,7 +276,7 @@ of the **CogVideoX** open-source model.
interpolation and super-resolution tools integrated. interpolation and super-resolution tools integrated.
+ [convert_demo](inference/convert_demo.py): How to convert user input into long-form input suitable for CogVideoX. + [convert_demo](inference/convert_demo.py): How to convert user input into long-form input suitable for CogVideoX.
Since CogVideoX is trained on long texts, we need to transform the input text distribution to match the training data Since CogVideoX is trained on long texts, we need to transform the input text distribution to match the training data
using an LLM. The script defaults to using GLM4, but it can be replaced with GPT, Gemini, or any other large language using an LLM. The script defaults to using GLM-4, but it can be replaced with GPT, Gemini, or any other large language
model. model.
+ [gradio_web_demo](inference/gradio_web_demo.py): A simple Gradio web application demonstrating how to use the + [gradio_web_demo](inference/gradio_web_demo.py): A simple Gradio web application demonstrating how to use the
CogVideoX-2B model to generate videos. Similar to our Huggingface Space, you can use this script to run a simple web CogVideoX-2B model to generate videos. Similar to our Huggingface Space, you can use this script to run a simple web

View File

@ -11,7 +11,7 @@
<a href="https://huggingface.co/spaces/THUDM/CogVideoX-5B" target="_blank"> 🤗 Huggingface Space</a> または <a href="https://modelscope.cn/studios/ZhipuAI/CogVideoX-5b-demo" target="_blank"> 🤖 ModelScope Space</a> で CogVideoX-5B モデルをオンラインで体験してください <a href="https://huggingface.co/spaces/THUDM/CogVideoX-5B" target="_blank"> 🤗 Huggingface Space</a> または <a href="https://modelscope.cn/studios/ZhipuAI/CogVideoX-5b-demo" target="_blank"> 🤖 ModelScope Space</a> で CogVideoX-5B モデルをオンラインで体験してください
</p> </p>
<p align="center"> <p align="center">
📚 <a href="https://arxiv.org/abs/2408.06072" target="_blank">論文</a> をチェック 📚 <a href="https://arxiv.org/abs/2408.06072" target="_blank">論文</a><a href="https://zhipu-ai.feishu.cn/wiki/DHCjw1TrJiTyeukfc9RceoSRnCh" target="_blank">使用ドキュメント</a>を表示します。
</p> </p>
<p align="center"> <p align="center">
👋 <a href="resources/WECHAT.md" target="_blank">WeChat</a><a href="https://discord.gg/B94UfuhN" target="_blank">Discord</a> に参加 👋 <a href="resources/WECHAT.md" target="_blank">WeChat</a><a href="https://discord.gg/B94UfuhN" target="_blank">Discord</a> に参加
@ -253,7 +253,7 @@ CogVideoXは [清影](https://chatglm.cn/video?fr=osm_cogvideox) に由来する
+ [diffusers_vae_demo](inference/cli_vae_demo.py): VAE推論コードの実行には現在71GBのメモリが必要ですが、将来的には最適化される予定です。 + [diffusers_vae_demo](inference/cli_vae_demo.py): VAE推論コードの実行には現在71GBのメモリが必要ですが、将来的には最適化される予定です。
+ [space demo](inference/gradio_composite_demo): Huggingface Spaceと同じGUIコードで、フレーム補間や超解像ツールが組み込まれています。 + [space demo](inference/gradio_composite_demo): Huggingface Spaceと同じGUIコードで、フレーム補間や超解像ツールが組み込まれています。
+ [convert_demo](inference/convert_demo.py): + [convert_demo](inference/convert_demo.py):
ユーザー入力をCogVideoXに適した形式に変換する方法。CogVideoXは長いキャプションでトレーニングされているため、入力テキストをLLMを使用してトレーニング分布と一致させる必要があります。デフォルトではGLM4を使用しますが、GPT、Geminiなどの他のLLMに置き換えることもできます。 ユーザー入力をCogVideoXに適した形式に変換する方法。CogVideoXは長いキャプションでトレーニングされているため、入力テキストをLLMを使用してトレーニング分布と一致させる必要があります。デフォルトではGLM-4を使用しますが、GPT、Geminiなどの他のLLMに置き換えることもできます。
+ [gradio_web_demo](inference/gradio_web_demo.py): CogVideoX-2B モデルを使用して動画を生成する方法を示す、シンプルな + [gradio_web_demo](inference/gradio_web_demo.py): CogVideoX-2B モデルを使用して動画を生成する方法を示す、シンプルな
Gradio Web UI デモです。私たちの Huggingface Space と同様に、このスクリプトを使用して Web デモを起動することができます。 Gradio Web UI デモです。私たちの Huggingface Space と同様に、このスクリプトを使用して Web デモを起動することができます。

View File

@ -12,7 +12,7 @@
<a href="https://huggingface.co/spaces/THUDM/CogVideoX-5B" target="_blank"> 🤗 Huggingface Space</a><a href="https://modelscope.cn/studios/ZhipuAI/CogVideoX-5b-demo" target="_blank"> 🤖 ModelScope Space</a> 在线体验 CogVideoX-5B 模型 <a href="https://huggingface.co/spaces/THUDM/CogVideoX-5B" target="_blank"> 🤗 Huggingface Space</a><a href="https://modelscope.cn/studios/ZhipuAI/CogVideoX-5b-demo" target="_blank"> 🤖 ModelScope Space</a> 在线体验 CogVideoX-5B 模型
</p> </p>
<p align="center"> <p align="center">
📚 查看 <a href="https://arxiv.org/abs/2408.06072" target="_blank">论文</a> 📚 查看 <a href="https://arxiv.org/abs/2408.06072" target="_blank">论文</a><a href="https://zhipu-ai.feishu.cn/wiki/DHCjw1TrJiTyeukfc9RceoSRnCh" target="_blank">使用文档</a>
</p> </p>
<p align="center"> <p align="center">
👋 加入我们的 <a href="resources/WECHAT.md" target="_blank">微信</a><a href="https://discord.gg/B94UfuhN" target="_blank">Discord</a> 👋 加入我们的 <a href="resources/WECHAT.md" target="_blank">微信</a><a href="https://discord.gg/B94UfuhN" target="_blank">Discord</a>
@ -237,7 +237,7 @@ CogVideoX是 [清影](https://chatglm.cn/video?fr=osm_cogvideox) 同源的开源
+ [diffusers_vae_demo](inference/cli_vae_demo.py): 单独执行VAE的推理代码。 + [diffusers_vae_demo](inference/cli_vae_demo.py): 单独执行VAE的推理代码。
+ [space demo](inference/gradio_composite_demo): Huggingface Space同款的 GUI 代码,植入了插帧,超分工具。 + [space demo](inference/gradio_composite_demo): Huggingface Space同款的 GUI 代码,植入了插帧,超分工具。
+ [convert_demo](inference/convert_demo.py): 如何将用户的输入转换成适合 + [convert_demo](inference/convert_demo.py): 如何将用户的输入转换成适合
CogVideoX的长输入。因为CogVideoX是在长文本上训练的所以我们需要把输入文本的分布通过LLM转换为和训练一致的长文本。脚本中默认使用GLM4也可以替换为GPT、Gemini等任意大语言模型。 CogVideoX的长输入。因为CogVideoX是在长文本上训练的所以我们需要把输入文本的分布通过LLM转换为和训练一致的长文本。脚本中默认使用GLM-4也可以替换为GPT、Gemini等任意大语言模型。
+ [gradio_web_demo](inference/gradio_web_demo.py): 一个简单的gradio网页应用展示如何使用 CogVideoX-2B 模型生成视频。 与我们的 + [gradio_web_demo](inference/gradio_web_demo.py): 一个简单的gradio网页应用展示如何使用 CogVideoX-2B 模型生成视频。 与我们的
Huggingface Space 类似,你可以使用此脚本运行一个简单的网页应用,用于生成视频。 Huggingface Space 类似,你可以使用此脚本运行一个简单的网页应用,用于生成视频。