da para usar isto no colab e com 15gb vram?
- User
da para usar isto no colab e com 15gb vram?
- Assistant
Sim, é possível usar o Google Colab para executar código que requer uma GPU, como as com 15GB de VRAM. No entanto, o Google Colab oferece diferentes tipos de instâncias, e a disponibilidade de GPUs com 15GB de VRAM, como a NVIDIA Tesla P100 ou A100, pode variar.
Para usar uma GPU no Colab, você pode seguir os seguintes passos:
- Abra um novo notebook no Google Colab.
- Vá para o menu "Runtime" (ou "Executar" em português).
- Selecione "Change runtime type" (ou "Alterar tipo de ambiente de execução").
- No menu suspenso "Hardware accelerator" (ou "Acelerador de hardware"), escolha "GPU" e clique em "Save" (ou "Salvar").
Lembrando que você deve verificar a disponibilidade da GPU desejada, pois, dependendo do uso na plataforma, nem sempre uma GPU específica estará disponível para seu uso imediato. Em planos pagos, como o Colab Pro ou Colab Pro+, você pode ter acesso mais consistente a GPUs de maior capacidade.
Além disso, sempre é bom verificar a documentação do Colab para ver as atualizações mais recentes sobre tipos de GPU disponíveis e suas especificações.
- User
Mochi 1
Blog | Hugging Face | Playground | Careers
A state of the art video generation model by Genmo.
https://github.com/user-attachments/assets/4d268d02-906d-4cb0-87cc-f467f1497108
News
- ⭐ November 26, 2024: Added support for LoRA fine-tuning
- ⭐ November 5, 2024: Consumer-GPU support for Mochi natively in ComfyUI
Overview
Mochi 1 preview is an open state-of-the-art video generation model with high-fidelity motion and strong prompt adherence in preliminary evaluation. This model dramatically closes the gap between closed and open video generation systems. We’re releasing the model under a permissive Apache 2.0 license. Try this model for free on our playground.
Installation
Install using uv:
git clone https://github.com/genmoai/models cd models pip install uv uv venv .venv source .venv/bin/activate uv pip install setuptools uv pip install -e . --no-build-isolationIf you want to install flash attention, you can use:
uv pip install -e .[flash] --no-build-isolationYou will also need to install FFMPEG to turn your outputs into videos.
Download Weights
Use download_weights.py to download the model + VAE to a local directory. Use it like this:
python3 ./scripts/download_weights.py weights/Or, directly download the weights from Hugging Face or via
magnet:?xt=urn:btih:441da1af7a16bcaa4f556964f8028d7113d21cbb&dn=weights&tr=udp://tracker.opentrackr.org:1337/announceto a folder on your computer.Running
Start the gradio UI with
python3 ./demos/gradio_ui.py --model_dir weights/ --cpu_offloadOr generate videos directly from the CLI with
python3 ./demos/cli.py --model_dir weights/ --cpu_offloadIf you have a fine-tuned LoRA in the safetensors format, you can add
--lora_path <path/to/my_mochi_lora.safetensors>to eithergradio_ui.pyorcli.py.API
This repository comes with a simple, composable API, so you can programmatically call the model. You can find a full example here. But, roughly, it looks like this:
from genmo.mochi_preview.pipelines import ( DecoderModelFactory, DitModelFactory, MochiSingleGPUPipeline, T5ModelFactory, linear_quadratic_schedule, ) pipeline = MochiSingleGPUPipeline( text_encoder_factory=T5ModelFactory(), dit_factory=DitModelFactory( model_path=f"weights/dit.safetensors", model_dtype="bf16" ), decoder_factory=DecoderModelFactory( model_path=f"weights/decoder.safetensors", ), cpu_offload=True, decode_type="tiled_spatial", ) video = pipeline( height=480, width=848, num_frames=31, num_inference_steps=64, sigma_schedule=linear_quadratic_schedule(64, 0.025), cfg_schedule=[6.0] * 64, batch_cfg=False, prompt="your favorite prompt here ...", negative_prompt="", seed=12345, )Fine-tuning with LoRA
We provide an easy-to-use trainer that allows you to build LoRA fine-tunes of Mochi on your own videos. The model can be fine-tuned on one H100 or A100 80GB GPU.
Model Architecture
Mochi 1 represents a significant advancement in open-source video generation, featuring a 10 billion parameter diffusion model built on our novel Asymmetric Diffusion Transformer (AsymmDiT) architecture. Trained entirely from scratch, it is the largest video generative model ever openly released. And best of all, it’s a simple, hackable architecture. Additionally, we are releasing an inference harness that includes an efficient context parallel implementation.
Alongside Mochi, we are open-sourcing our video AsymmVAE. We use an asymmetric encoder-decoder structure to build an efficient high quality compression model. Our AsymmVAE causally compresses videos to a 128x smaller size, with an 8x8 spatial and a 6x temporal compression to a 12-channel latent space.
AsymmVAE Model Specs
Params Count Enc Base Channels Dec Base Channels Latent Dim Spatial Compression Temporal Compression 362M 64 128 12 8x8 6x An AsymmDiT efficiently processes user prompts alongside compressed video tokens by streamlining text processing and focusing neural network capacity on visual reasoning. AsymmDiT jointly attends to text and visual tokens with multi-modal self-attention and learns separate MLP layers for each modality, similar to Stable Diffusion 3. However, our visual stream has nearly 4 times as many parameters as the text stream via a larger hidden dimension. To unify the modalities in self-attention, we use non-square QKV and output projection layers. This asymmetric design reduces inference memory requirements. Many modern diffusion models use multiple pretrained language models to represent user prompts. In contrast, Mochi 1 simply encodes prompts with a single T5-XXL language model.
AsymmDiT Model Specs
Params Count Num Layers Num Heads Visual Dim Text Dim Visual Tokens Text Tokens 10B 48 24 3072 1536 44520 256 Hardware Requirements
The repository supports both multi-GPU operation (splitting the model across multiple graphics cards) and single-GPU operation, though it requires approximately 60GB VRAM when running on a single GPU. While ComfyUI can optimize Mochi to run on less than 20GB VRAM, this implementation prioritizes flexibility over memory efficiency. When using this repository, we recommend using at least 1 H100 GPU.
Safety
Genmo video models are general text-to-video diffusion models that inherently reflect the biases and preconceptions found in their training data. While steps have been taken to limit NSFW content, organizations should implement additional safety protocols and careful consideration before deploying these model weights in any commercial services or products.
Limitations
Under the research preview, Mochi 1 is a living and evolving checkpoint. There are a few known limitations. The initial release generates videos at 480p today. In some edge cases with extreme motion, minor warping and distortions can also occur. Mochi 1 is also optimized for photorealistic styles so does not perform well with animated content. We also anticipate that the community will fine-tune the model to suit various aesthetic preferences.
Related Work
- ComfyUI-MochiWrapper adds ComfyUI support for Mochi. The integration of Pytorch's SDPA attention was based on their repository.
- ComfyUI-MochiEdit adds ComfyUI nodes for video editing, such as object insertion and restyling.
- mochi-xdit is a fork of this repository and improve the parallel inference speed with xDiT.
- Modal script for fine-tuning Mochi on Modal GPUs.
BibTeX
@misc{genmo2024mochi, title={Mochi 1}, author={Genmo Team}, year={2024}, publisher = {GitHub}, journal = {GitHub repository}, howpublished={\url{https://github.com/genmoai/models}} } - Assistant
Mochi 1 é um modelo avançado de geração de vídeo desenvolvido pela Genmo, que se destaca por sua fidelidade na movimentação e forte aderência aos prompts de entrada. Este modelo é uma das mais recentes inovações na área de geração de vídeo de código aberto, e sua arquitetura, chamada Asymmetric Diffusion Transformer (AsymmDiT), possui 10 bilhões de parâmetros, o que o torna o maior modelo de vídeo gerativo já disponibilizado abertamente.
Principais Funcionalidades e Instalação:
-
Instalação: É possível instalar o Mochi 1 através do repositório GitHub e usar um ambiente virtual. O comando para instalação foi descrito no documento que você compartilhou.
git clone https://github.com/genmoai/models cd models pip install uv uv venv .venv source .venv/bin/activate uv pip install setuptools uv pip install -e . --no-build-isolation -
Pesos do Modelo: Os pesos do modelo podem ser baixados usando um script específico ou diretamente do Hugging Face.
-
Execução: A interface do Gradio ou a linha de comando pode ser usada para gerar vídeos, dependendo do método preferido.
-
Fine-tuning com LoRA: O modelo suporta fine-tuning para personalização em vídeos específicos, o que requer um GPU de alta capacidade, como H100 ou A100 de 80GB.
Requisitos de Hardware:
- Apesar de o Mochi ser otimizado pelo ComfyUI para funcionar com menos de 20GB de VRAM, o uso do modelo requer cerca de 60GB de VRAM em uma única GPU para operação ideal.
- A recomendação é utilizar pelo menos uma GPU H100 para ter uma performance adequada.
Limitações e Considerações:
- O modelo atualmente gera vídeos em 480p e pode apresentar distorções em certos casos de movimento extremo.
- É otimizado para estilos fotorealistas e pode não se sair bem com conteúdo animado.
Conclusão
Com o Mochi 1, é possível realizar experimentos avançados na geração de vídeo, e seu código aberto e permissões de uso amplas oferecem uma grande oportunidade para a comunidade. É um recurso valioso para pesquisadores e desenvolvedores interessados na interseção de IA e geração de conteúdo visual.
Se você tem interesse em utilizá-lo ou experimentar, estar ciente dos requisitos de hardware e das limitações ajudará a garantir uma implementação bem-sucedida.
-
- User
da para usar isto no colab com 15gb vram: # Mochi 1 Blog | Hugging Face | Playground | Careers
A state of the art video generation model by Genmo.
https://github.com/user-attachments/assets/4d268d02-906d-4cb0-87cc-f467f1497108
News
- ⭐ November 26, 2024: Added support for LoRA fine-tuning
- ⭐ November 5, 2024: Consumer-GPU support for Mochi natively in ComfyUI
Overview
Mochi 1 preview is an open state-of-the-art video generation model with high-fidelity motion and strong prompt adherence in preliminary evaluation. This model dramatically closes the gap between closed and open video generation systems. We’re releasing the model under a permissive Apache 2.0 license. Try this model for free on our playground.
Installation
Install using uv:
git clone https://github.com/genmoai/models cd models pip install uv uv venv .venv source .venv/bin/activate uv pip install setuptools uv pip install -e . --no-build-isolationIf you want to install flash attention, you can use:
uv pip install -e .[flash] --no-build-isolationYou will also need to install FFMPEG to turn your outputs into videos.
Download Weights
Use download_weights.py to download the model + VAE to a local directory. Use it like this:
python3 ./scripts/download_weights.py weights/Or, directly download the weights from Hugging Face or via
magnet:?xt=urn:btih:441da1af7a16bcaa4f556964f8028d7113d21cbb&dn=weights&tr=udp://tracker.opentrackr.org:1337/announceto a folder on your computer.Running
Start the gradio UI with
python3 ./demos/gradio_ui.py --model_dir weights/ --cpu_offloadOr generate videos directly from the CLI with
python3 ./demos/cli.py --model_dir weights/ --cpu_offloadIf you have a fine-tuned LoRA in the safetensors format, you can add
--lora_path <path/to/my_mochi_lora.safetensors>to eithergradio_ui.pyorcli.py.API
This repository comes with a simple, composable API, so you can programmatically call the model. You can find a full example here. But, roughly, it looks like this:
from genmo.mochi_preview.pipelines import ( DecoderModelFactory, DitModelFactory, MochiSingleGPUPipeline, T5ModelFactory, linear_quadratic_schedule, ) pipeline = MochiSingleGPUPipeline( text_encoder_factory=T5ModelFactory(), dit_factory=DitModelFactory( model_path=f"weights/dit.safetensors", model_dtype="bf16" ), decoder_factory=DecoderModelFactory( model_path=f"weights/decoder.safetensors", ), cpu_offload=True, decode_type="tiled_spatial", ) video = pipeline( height=480, width=848, num_frames=31, num_inference_steps=64, sigma_schedule=linear_quadratic_schedule(64, 0.025), cfg_schedule=[6.0] * 64, batch_cfg=False, prompt="your favorite prompt here ...", negative_prompt="", seed=12345, )Fine-tuning with LoRA
We provide an easy-to-use trainer that allows you to build LoRA fine-tunes of Mochi on your own videos. The model can be fine-tuned on one H100 or A100 80GB GPU.
Model Architecture
Mochi 1 represents a significant advancement in open-source video generation, featuring a 10 billion parameter diffusion model built on our novel Asymmetric Diffusion Transformer (AsymmDiT) architecture. Trained entirely from scratch, it is the largest video generative model ever openly released. And best of all, it’s a simple, hackable architecture. Additionally, we are releasing an inference harness that includes an efficient context parallel implementation.
Alongside Mochi, we are open-sourcing our video AsymmVAE. We use an asymmetric encoder-decoder structure to build an efficient high quality compression model. Our AsymmVAE causally compresses videos to a 128x smaller size, with an 8x8 spatial and a 6x temporal compression to a 12-channel latent space.
AsymmVAE Model Specs
Params Count Enc Base Channels Dec Base Channels Latent Dim Spatial Compression Temporal Compression 362M 64 128 12 8x8 6x An AsymmDiT efficiently processes user prompts alongside compressed video tokens by streamlining text processing and focusing neural network capacity on visual reasoning. AsymmDiT jointly attends to text and visual tokens with multi-modal self-attention and learns separate MLP layers for each modality, similar to Stable Diffusion 3. However, our visual stream has nearly 4 times as many parameters as the text stream via a larger hidden dimension. To unify the modalities in self-attention, we use non-square QKV and output projection layers. This asymmetric design reduces inference memory requirements. Many modern diffusion models use multiple pretrained language models to represent user prompts. In contrast, Mochi 1 simply encodes prompts with a single T5-XXL language model.
AsymmDiT Model Specs
Params Count Num Layers Num Heads Visual Dim Text Dim Visual Tokens Text Tokens 10B 48 24 3072 1536 44520 256 Hardware Requirements
The repository supports both multi-GPU operation (splitting the model across multiple graphics cards) and single-GPU operation, though it requires approximately 60GB VRAM when running on a single GPU. While ComfyUI can optimize Mochi to run on less than 20GB VRAM, this implementation prioritizes flexibility over memory efficiency. When using this repository, we recommend using at least 1 H100 GPU.
Safety
Genmo video models are general text-to-video diffusion models that inherently reflect the biases and preconceptions found in their training data. While steps have been taken to limit NSFW content, organizations should implement additional safety protocols and careful consideration before deploying these model weights in any commercial services or products.
Limitations
Under the research preview, Mochi 1 is a living and evolving checkpoint. There are a few known limitations. The initial release generates videos at 480p today. In some edge cases with extreme motion, minor warping and distortions can also occur. Mochi 1 is also optimized for photorealistic styles so does not perform well with animated content. We also anticipate that the community will fine-tune the model to suit various aesthetic preferences.
Related Work
- ComfyUI-MochiWrapper adds ComfyUI support for Mochi. The integration of Pytorch's SDPA attention was based on their repository.
- ComfyUI-MochiEdit adds ComfyUI nodes for video editing, such as object insertion and restyling.
- mochi-xdit is a fork of this repository and improve the parallel inference speed with xDiT.
- Modal script for fine-tuning Mochi on Modal GPUs.
BibTeX
@misc{genmo2024mochi, title={Mochi 1}, author={Genmo Team}, year={2024}, publisher = {GitHub}, journal = {GitHub repository}, howpublished={\url{https://github.com/genmoai/models}} } - Assistant
Embora o Mochi 1 seja um modelo avançado de geração de vídeo, existem algumas considerações importantes ao tentar utilizá-lo no Google Colab, especialmente no que diz respeito à quantidade de VRAM disponível.
Requisitos de Hardware
O modelo Mochi 1 requer aproximadamente 60GB de VRAM quando executado em uma única GPU. Embora o ComfyUI tenha otimizações que permitem o uso de menos de 20GB de VRAM, esta implementação específica não é tão eficiente em termos de memória. As GPUs disponíveis no Google Colab (como a NVIDIA T4 ou K80) geralmente têm entre 12GB a 16GB de VRAM, o que pode não ser suficiente para executar o modelo em sua configuração padrão.
Possibilidades
-
Uso em Colab:
- Você pode tentar executar o modelo no Google Colab, mas esteja ciente de que pode enfrentar problemas de falta de memória com as GPUs padrão disponíveis.
- Caso disponível, você poderá utilizar GPUs mais potentes, como a A100, que possuem 40GB de VRAM, em planos como o Colab Pro ou Pro+.
-
Otimizações:
- Verifique se existem maneiras de otimizar o uso de memória, como ajustes nos parâmetros da geração de vídeo ou a utilização do
cpu_offload, que pode liberar parte da carga para a CPU, embora isso possa impactar a performance. - Experimente reduzir a resolução máxima ou o número de frames gerados para tentar se encaixar nos limites de memória.
- Verifique se existem maneiras de otimizar o uso de memória, como ajustes nos parâmetros da geração de vídeo ou a utilização do
-
Alternativas:
- Se você encontrar dificuldades ao tentar usar o Mochi 1 no Colab, considere a execução em um ambiente local, se você tiver acesso a uma GPU adequada com maior capacidade de VRAM, ou plataformas de cloud computing que ofereçam instâncias com GPUs de alta capacidade.
Conclusão
Enquanto é tecnicamente possível experimentar o Mochi 1 no Google Colab com GPUs de 15GB de VRAM, a implementação e o desempenho podem ser limitados devido aos requisitos de memória do modelo. Para resultados ótimos, uma GPU com pelo menos 60GB de VRAM é recomendada, ou a exploração de soluções de otimização e ajustes na configuração do modelo.
-
- User
mochi alternativa
- Assistant
Se você está procurado alternativas ao Mochi para geração de vídeos, existem várias opções que podem atender a diferentes necessidades e requisitos. Aqui estão alguns modelos e frameworks que você pode considerar:
1. Stable Diffusion Video
Stable Diffusion expandiu suas capacidades para a geração de vídeo, permitindo a criação de vídeos a partir de prompts de texto. Este modelo é baseado na arquitetura de Diffusion e pode gerar vídeos de forma coerente.
- Repositório: Stable Diffusion
- Demonstração: Projetos como DreamFusion também estão sendo explorados.
2. Runway Gen-2
Runway oferece uma ferramenta de geração de vídeo chamada Gen-2, que permite criar vídeos a partir de texto ou imagens. É especialmente voltada para criadores e artistas.
- Site: Runway
- Requisitos: Geralmente requer hardware potente, mas também pode ter uma interface de web app que utilize computação em nuvem.
3. DALL-E Video
Modelos que são baseados em DALL-E também estão em desenvolvimento para gerar vídeos a partir de descrições textuais. Embora esteja em estágios iniciais, a tecnologia está evoluindo rapidamente.
- Repositório: Pesquisa em andamento em várias plataformas.
4. Synthesia
Embora não seja um projeto de código aberto, o Synthesia permite a criação de vídeos de avatares generativos a partir de texto, tornando-o útil para produções de vídeos corporativos ou didáticos.
- Site: Synthesia
5. DeepAI Video Generator
DeepAI oferece uma ferramenta de geração de vídeo que pode gerar vídeos a partir de descrições textuais simples.
- Site: DeepAI Video Generator
6. Google Imagen Video
Este é um modelo desenvolvido pelo Google que gera vídeos a partir de texto. É um exemplo avançado de modelos de geração de vídeo, mas ainda está em desenvolvimento e não está amplamente disponível para uso público.
- Pesquisa: Conseguir resultados de qualidade com prompts complexos, focado em aplicativos de IA.
7. Pika Labs
Pika Labs oferece uma plataforma onde você pode gerar vídeos a partir de suas idéias rapidamente. Esta ferramenta pode ser usada online sem necessidade de hardware especializado.
- Site: Pika Labs
Considerações Finais
Ao escolher uma alternativa, considere o propósito do seu projeto, as capacidades necessárias, o nível de acesso (código aberto vs. plataformas comerciais) e os requisitos de hardware. Algumas alternativas são mais fáceis de usar e podem ser acessadas via interfaces web, enquanto outras podem exigir configuração mais técnica e um ambiente de computação robusto.