From 02b814693076c2d1729d5c70dad276ef426b5953 Mon Sep 17 00:00:00 2001 From: huangshiyu Date: Tue, 6 Aug 2024 09:49:23 +0800 Subject: [PATCH 1/2] update caption tool --- README.md | 2 +- README_zh.md | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/README.md b/README.md index 9a954cd..55d3385 100644 --- a/README.md +++ b/README.md @@ -100,7 +100,7 @@ of the **CogVideoX** open-source model. This folder contains some tools for model conversion / caption generation, etc. + [convert_weight_sat2hf](tools/convert_weight_sat2hf.py): Convert SAT model weights to Huggingface model weights. -+ [caption_demo](tools/caption_demo.py): Caption tool, a model that understands videos and outputs them in text. ++ [caption_demo](tools/caption): Caption tool, a model that understands videos and outputs them in text. ## Project Plan diff --git a/README_zh.md b/README_zh.md index 32cb615..21531a3 100644 --- a/README_zh.md +++ b/README_zh.md @@ -92,7 +92,7 @@ CogVideoX是 [清影](https://chatglm.cn/video) 同源的开源版本视频生 本文件夹包含了一些工具，用于模型的转换 / Caption 等工作。 + [convert_weight_sat2hf](tools/convert_weight_sat2hf.py): 将 SAT 模型权重转换为 Huggingface 模型权重。 -+ [caption_demo](tools/caption_demo.py): Caption 工具，对视频理解并用文字输出的模型。 ++ [caption_demo](tools/caption): Caption 工具，对视频理解并用文字输出的模型。 ## 项目规划 From a58692e3a708aa67b2f9076a51283102a5f6f15a Mon Sep 17 00:00:00 2001 From: huangshiyu Date: Tue, 6 Aug 2024 11:21:46 +0800 Subject: [PATCH 2/2] update caption readme --- tools/caption/README_zh.md | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/tools/caption/README_zh.md b/tools/caption/README_zh.md index 6d8d7e5..dc905e4 100644 --- a/tools/caption/README_zh.md +++ b/tools/caption/README_zh.md @@ -1,16 +1,16 @@ -# 视频字幕 +# 视频Caption 通常，大多数视频数据不带有相应的描述性文本，因此需要将视频数据转换为文本描述，以提供必要的训练数据用于文本到视频模型。 -## 通过 CogVLM2-Video 模型生成视频描述 +## 通过 CogVLM2-Video 模型生成视频Caption 🤗 [Hugging Face](https://huggingface.co/THUDM/cogvlm2-video-llama3-chat) | 🤖 [ModelScope](https://modelscope.cn/models/ZhipuAI/cogvlm2-video-llama3-chat) | 📑 [Blog](https://cogvlm2-video.github.io/) ｜ [💬 Online Demo](http://cogvlm2-online.cogviewai.cn:7868/) -CogVLM2-Video 是一个多功能的视频理解模型，具备基于时间戳的问题回答能力。用户可以输入诸如 `请详细描述这个视频` 的提示语给模型，以获得详细的视频字幕： +CogVLM2-Video 是一个多功能的视频理解模型，具备基于时间戳的问题回答能力。用户可以输入诸如 `请详细描述这个视频` 的提示语给模型，以获得详细的视频Caption：
-用户可以使用提供的[代码](https://github.com/THUDM/CogVLM2/tree/main/video_demo)加载模型或配置 RESTful API 生成视频字幕。 \ No newline at end of file +用户可以使用提供的[代码](https://github.com/THUDM/CogVLM2/tree/main/video_demo)加载模型或配置 RESTful API 来生成视频Caption。 \ No newline at end of file