como usar isto no colab: <p align="center"> <h2 align="center">Animate-X: Universal…
- User
como usar isto no colab:
[🔥 We release our inference codes at https://github.com/antgroup/animate-x ] This repository is the official implementation of paper "Animate-X: Universal Character Image Animation with Enhanced Motion Representation". Animate-X is a universal animation framework based on latent diffusion models for various character types (collectively named X), including anthropomorphic characters.
📌 Updates
- 2025 01.23 🎉 Our paper is accepted by ICLR 2025.
- 2024 12.18 🔥 This repository will no longer be maintained. For the latest version, please refer to https://github.com/antgroup/animate-x
- 2024 12.16 🔥 We release our inference codes at https://github.com/antgroup/animate-x
- 2024 11.25: Thank you for your patience. Although the code is ready, due to the company's latest open-source policy, this project can only be open-sourced on https://github.com/antgroup, with an expected release in the spring of 2025. We sincerely apologize for the delay. Open-sourcing is never easy, and we kindly ask for your understanding.
- 2024 10.21: Thank you all for your interest in Animate-X. The main reasons we haven't made the code public yet are: 1. The company needs to go through certain public approval processes, which take time. 2. We are currently cleaning up the code and preparing for open source in various aspects. We promise to release the code and the models by mid to late November. We appreciate your patience.
- 2024 10.1: The project page and Arxiv paper of Animate-X are released.
TODO List
- Release model, checkpoint and demo code.
Citation
If you find this codebase useful for your research, please use the following entry.
@article{AnimateX2025, title={Animate-X: Universal Character Image Animation with Enhanced Motion Representation}, author={Tan, Shuai and Gong, Biao and Wang, Xiang and Zhang, Shiwei and Zheng, Dandan and Zheng, Ruobing and Zheng, Kecheng and Chen, Jingdong and Yang, Ming}, journal={arXiv preprint arXiv:2410.10306}, year={2025} } @article{Mimir2025, title={Mimir: Improving Video Diffusion Models for Precise Text Understanding}, author={Tan, Shuai and Gong, Biao and Feng, Yutong and Zheng, Kecheng and Zheng, Dandan and Shi, Shuwei and Shen, Yujun and Chen, Jingdong and Yang, Ming}, journal={arXiv preprint arXiv:2412.03085}, year={2025} } - Assistant
Para utilizar o projeto "Animate-X" no Google Colab, você precisará seguir algumas etapas que envolvem a configuração do ambiente e a execução do código disponibilizado no repositório do GitHub. Abordarei essas etapas de maneira geral:
Passos para usar o Animate-X no Google Colab
-
Criar um Novo Notebook no Google Colab:
- Acesse Google Colab.
- Clique em "Novo Notebook".
-
Configurar o Ambiente:
- Execute as seguintes células para instalar as bibliotecas necessárias. Verifique as dependências exatamente no repositório do
Animate-X, caso haja alguma especificação.
- Execute as seguintes células para instalar as bibliotecas necessárias. Verifique as dependências exatamente no repositório do
!git clone https://github.com/antgroup/animate-x.git %cd animate-x !pip install -r requirements.txt- Importar as Bibliotecas:
- Após a instalação, você deve importar as bibliotecas que serão utilizadas no código. É comum que o repositório tenha um arquivo chamado
main.pyou algo similar para executar as principais funções.
- Após a instalação, você deve importar as bibliotecas que serão utilizadas no código. É comum que o repositório tenha um arquivo chamado
import torch # Outras importações conforme necessário-
Configurar o Modelo:
- Antes de rodar o modelo, pode ser necessário baixar ou configurar pesos pré-treinados. Verifique se o repositório tem instruções específicas para isso.
-
Rodar Inferência:
- Agora você deve estar apto a rodar o modelo. Procure por um exemplo de uso na documentação do repositório ou exemplos disponibilizados.
# Exemplo genérico de chamada ao modelo, modifique conforme necessário output = model(input_data) # Exemplo de chamada- Visualização dos Resultados:
- Após a execução do modelo, você pode querer visualizar os resultados. Utilize bibliotecas como
matplotlibou qualquer outra biblioteca de visualização apropriada.
- Após a execução do modelo, você pode querer visualizar os resultados. Utilize bibliotecas como
import matplotlib.pyplot as plt plt.imshow(output) plt.axis('off') plt.show()- Salvando seus Resultados:
- Se desejar salvar os resultados, você pode usar o seguinte código:
output_image_path = 'output.png' plt.imsave(output_image_path, output) # Modifique conforme o tipo de saídaNotas Adicionais:
- Sempre verifique se há instruções específicas no repositório, pois cada projeto pode ter suas particularidades.
- Se você encontrar problemas relacionados a dependências ou execução, verifique as versões das bibliotecas instaladas, pois pode ser necessário ajustá-las.
- Caso você precise de um GPU, vá em
Ambiente de Execuçãono menu do Colab e escolhaAlterar tipo de ambiente de execução, selecionando uma GPU.
Esses passos são uma diretriz e podem precisar de ajustes conforme as instruções específicas do repositório "Animate-X".
-
- User
qual destes roda o modelo: animatex diffusion init.py diffusion_ddim.py diffusion_gauss.py schedules.py model IPI_module.py init.py autoencoder.py clip_embedder.py transformer.py unet_animate_x.py util.py init.py default_config.py inference_animate_x_entrance.py configs Animate_X_infer.yaml data images videos dwpose init.py onnxdet.py onnxpose.py util.py wholebody.py utils init.py config.py distributed.py logging.py multi_port.py registry.py registry_class.py seed.py transforms.py video_op.py LICENSE README.md environment.yaml inference.py process_data.py requirements.txt
- Assistant
No repositório do projeto "Animate-X", o arquivo que provavelmente é responsável por rodar o modelo ou realizar a inferência é o
inference_animate_x_entrance.py. Este arquivo geralmente será projetado para lidar com carregamento de modelos, pré-processamento de dados e execução de inferência.Aqui está uma breve descrição de alguns dos arquivos listados e suas possíveis funções:
-
inference_animate_x_entrance.py: Provável ponto de entrada para inferência. Aqui, você pode encontrar as funções que chamam o modelo e processam as imagens ou entradas fornecidas.
-
model/: Diretório que pode conter definição de modelos e arquitetura (como
unet_animate_x.py, que indica que pode haver uma implementação de uma U-Net adaptada para o "Animate-X"). -
diffusion/: Diretório que provavelmente inclui implementações relevantes relacionadas ao algoritmo de difusão, que parece ser central para o funcionamento do "Animate-X".
-
configs/: Este diretório geralmente contém arquivos de configuração (como o
Animate_X_infer.yaml) que definem parâmetros para execução. -
requirements.txt: Contém as bibliotecas Python necessárias para rodar o projeto. Você deve garantir que todas as dependências estejam instaladas.
Passos para Rodar a Inferência
-
Configuração Inicial: Comece configurando seu ambiente conforme mencionado anteriormente, incluindo a instalação das dependências.
-
Carregar o arquivo de inferência: No Colab, você pode executar o arquivo de inferência diretamente no terminal ou chamar suas funções a partir de um notebook.
!python inference_animate_x_entrance.py --config configs/Animate_X_infer.yaml --inputs <seus_inputs> --outputs <seus_outputs>- Verifique a Documentação: Sempre consulte o
README.mdou a documentação no repositório para ver quais argumentos e opções o script de inferência pode aceitar. Isso pode incluir dados de entrada, caminhos de modelos, etc.
Conclusão
O arquivo
inference_animate_x_entrance.pyé o melhor candidato para rodar o modelo de animação. Certifique-se de estar no diretório correto e passar os argumentos adequados. Além disso, se houver exemplos diretos ou tutoriais no repositório, eles podem ajudar bastante a entender como operar o modelo de forma eficaz. -
- User
For Windows users, we explicitly import registry function inference_animate_x_entrance !!! Traceback (most recent call last): File "/content/Animate-X/utils/registry.py", line 41, in build_from_config from animatex.diffusion.diffusion_ddim import DiffusionDDIM File "/content/Animate-X/animatex/init.py", line 1, in from .inference_animate_x_entrance import * File "/content/Animate-X/animatex/inference_animate_x_entrance.py", line 9, in import pynvml ModuleNotFoundError: No module named 'pynvml'
During handling of the above exception, another exception occurred:
Traceback (most recent call last): File "/content/Animate-X/inference.py", line 16, in INFER_ENGINE.build(dict(type=cfg_update.TASK_TYPE), cfg_update=cfg_update.cfg_dict) File "/content/Animate-X/utils/registry.py", line 104, in build return self.build_func(*args, **kwargs, registry=self) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/content/Animate-X/utils/registry_class.py", line 9, in build_func return build_from_config(cfg, registry, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/content/Animate-X/utils/registry.py", line 52, in build_from_config raise KeyError(f"{req_type} not found in {registry.name} registry") KeyError: 'inference_animate_x_entrance not found in INFER_ENGINE registry'
- Assistant
O erro que você está enfrentando parece ser causado por algumas dependências ausentes e problemas na construção do registro para a inferência no "Animate-X". Vamos abordar os dois aspectos principais do erro:
-
Módulo ausente (
pynvml): O erroModuleNotFoundError: No module named 'pynvml'indica que a bibliotecapynvml, que é usada para monitorar GPUs NVIDIA, não está instalada. Para corrigir isso, você deve instalar a biblioteca executando:!pip install pynvmlIsso deve ser feito antes de tentar executar qualquer código que dependa dele.
-
Chave ausente no registro (
KeyError): O erroKeyError: 'inference_animate_x_entrance not found in INFER_ENGINE registry'sugere que o tipo de inferência que você está tentando acessar não foi registrado corretamente. Isso pode ser causado por:- Um problema no código em
registry.pyonde a função de registro não está sendo chamada. - A configuração (
Animate_X_infer.yaml) pode estar faltando ou estar mal formatada.
- Um problema no código em
Passos para resolver os problemas:
-
Instale as dependências necessárias: Certifique-se de que todas as bibliotecas requeridas, incluindo
pynvml, estejam instaladas:!pip install pynvml # Instalar pynvmlAlém disso, verifique se outras dependências listadas no
requirements.txtestão instaladas. -
Verifique a Configuração: Abra o arquivo
Animate_X_infer.yaml(ou outro arquivo de configuração apropriado) e verifique se todas as chaves necessárias estão presentes e corretamente configuradas. Verifique se a chave de tarefa que você está tentando acessar está realmente definida. -
Registre a Função de Inferência: Caso o problema persista, você deve verificar o arquivo
registry.py. Procure por onde as funções de inferência são registradas. Em alguns casos, você pode precisar adicionar manualmente a função de inferência ao registro se não estiver lá.Exemplo (isso é apenas um exemplo, você deverá adaptar com a lógica do seu projeto):
from animatex.inference_animate_x_entrance import YourInferenceFunction register('inference_animate_x_entrance', YourInferenceFunction) -
Execute o Código de Inferência Novamente: Depois de instalar as dependências e garantir que a configuração e os registros estejam corretos, tente executar o arquivo de inferência novamente:
!python inference_animate_x_entrance.py --config configs/Animate_X_infer.yaml --inputs <seus_inputs> --outputs <seus_outputs>
Alternativas:
-
Se houver uma documentação ou exemplos no repositório do projeto que você está usando, sempre é bom consultá-los para ver se há instruções específicas para resolver problemas comuns.
-
Se a solução não funcionar e você continuar a enfrentar problemas, pode ser útil abrir uma questão no repositório GitHub do projeto para obter ajuda mais específica da comunidade de desenvolvedores.
-
- User
For Windows users, we explicitly import registry function inference_animate_x_entrance !!! Traceback (most recent call last): File "/content/Animate-X/utils/registry.py", line 41, in build_from_config from animatex.diffusion.diffusion_ddim import DiffusionDDIM File "/content/Animate-X/animatex/init.py", line 1, in from .inference_animate_x_entrance import * File "/content/Animate-X/animatex/inference_animate_x_entrance.py", line 21, in import torchvision.transforms as T File "/usr/local/lib/python3.11/dist-packages/torchvision/init.py", line 10, in from torchvision import _meta_registrations, datasets, io, models, ops, transforms, utils # usort:skip ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/local/lib/python3.11/dist-packages/torchvision/_meta_registrations.py", line 163, in @torch.library.register_fake("torchvision::nms") ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/local/lib/python3.11/dist-packages/torch/library.py", line 828, in register use_lib._register_fake(op_name, func, _stacklevel=stacklevel + 1) File "/usr/local/lib/python3.11/dist-packages/torch/library.py", line 198, in _register_fake handle = entry.fake_impl.register(func_to_register, source) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/local/lib/python3.11/dist-packages/torch/_library/fake_impl.py", line 31, in register if torch._C._dispatch_has_kernel_for_dispatch_key(self.qualname, "Meta"): ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ RuntimeError: operator torchvision::nms does not exist
During handling of the above exception, another exception occurred:
Traceback (most recent call last): File "/content/Animate-X/inference.py", line 16, in INFER_ENGINE.build(dict(type=cfg_update.TASK_TYPE), cfg_update=cfg_update.cfg_dict) File "/content/Animate-X/utils/registry.py", line 104, in build return self.build_func(*args, **kwargs, registry=self) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/content/Animate-X/utils/registry_class.py", line 9, in build_func return build_from_config(cfg, registry, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/content/Animate-X/utils/registry.py", line 52, in build_from_config raise KeyError(f"{req_type} not found in {registry.name} registry") KeyError: 'inference_animate_x_entrance not found in INFER_ENGINE registry'
- Assistant
Os erros que você está enfrentando durante a execução do "Animate-X" no Google Colab estão relacionados a:
- Importação de Módulos e Erros na Biblioteca
torchvision. - Chave ausente no registro de inferência (
KeyError).
Problema 1: Erro de
torchvisionO erro que menciona
RuntimeError: operator torchvision::nms does not existindica que está ocorrendo um problema no registro da funçãonms(Non-Maximum Suppression) da bibliotecatorchvision. Isso pode acontecer devido a versões incompatíveis detorchetorchvision.Resolução do Problema 1
-
Verifique as versões do PyTorch e torchvision: Você deve garantir que as versões do PyTorch e
torchvisionsejam compatíveis. A forma mais fácil de fazer isso é instalando uma versão específica que esteja conhecida como estável. Por exemplo:# Desinstalar versões atuais !pip uninstall torch torchvision torchaudio -y # Instalar versões compatíveis (substitua as versões com base nas suas necessidades) !pip install torch==1.13.0 torchvision==0.14.0 torchaudio==0.13.0Observe: Dependendo do seu ambiente, você pode precisar ajustar as versões para atender às suas necessidades.
-
Reiniciar o ambiente: Após instalar novamente, reinicie o runtime do Colab (
Ambiente de Execução>Reiniciar ambiente de execução) para garantir que as novas versões sejam carregadas corretamente.
Problema 2: Registro de Inferência
O erro
KeyError: 'inference_animate_x_entrance not found in INFER_ENGINE registry'sugere que a função ou classe para inferência não foi registrada corretamente.Resolução do Problema 2
-
Verifique o Registro: Você deve garantir que a classe ou função utilizada para inferência está sendo registrada adequadamente no arquivo
registry.py.No início do arquivo
inference_animate_x_entrance.py, você deve ter algo assim:from utils.registry import Registry INFER_ENGINE = Registry("INFER_ENGINE")Certifique-se de que a função ou classe
inference_animate_x_entranceestá sendo registrada em algum lugar:@INFER_ENGINE.register() def inference_animate_x_entrance(...): ... -
Verifique a Configuração: A configuração em seu arquivo
Animate_X_infer.yamldeve estar apontando parainference_animate_x_entrance. Confira:TASK_TYPE: inference_animate_x_entrance -
Execute Novamente: Após verificar e corrigir os problemas acima, tente executar o processo de novo.
Código Final (Resumido)
O código que encapsula as soluções recomendadas ficaria assim:
# Desinstalar versões atuais !pip uninstall torch torchvision torchaudio -y # Instalar versões compatíveis !pip install torch==1.13.0 torchvision==0.14.0 torchaudio==0.13.0 # Reinicie o ambiente de execução após isso.Depois, verifique se os arquivos estão configurados corretamente e execute a inferência novamente.
!python inference_animate_x_entrance.py --config configs/Animate_X_infer.yaml --inputs <seus_inputs> --outputs <seus_outputs>Esses passos devem ajudar a resolver os problemas que você está enfrentando. Se os erros persistirem, verifique se há atualizações no repositório do "Animate-X" ou se outros usuários estão enfrentando questões semelhantes.
- Importação de Módulos e Erros na Biblioteca
- User
For Windows users, we explicitly import registry function inference_animate_x_entrance !!! Traceback (most recent call last): File "/content/Animate-X/utils/registry.py", line 41, in build_from_config from animatex.diffusion.diffusion_ddim import DiffusionDDIM File "/content/Animate-X/animatex/init.py", line 1, in from .inference_animate_x_entrance import * File "/content/Animate-X/animatex/inference_animate_x_entrance.py", line 21, in import torchvision.transforms as T ModuleNotFoundError: No module named 'torchvision'
During handling of the above exception, another exception occurred:
Traceback (most recent call last): File "/content/Animate-X/inference.py", line 16, in INFER_ENGINE.build(dict(type=cfg_update.TASK_TYPE), cfg_update=cfg_update.cfg_dict) File "/content/Animate-X/utils/registry.py", line 104, in build return self.build_func(*args, **kwargs, registry=self) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/content/Animate-X/utils/registry_class.py", line 9, in build_func return build_from_config(cfg, registry, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/content/Animate-X/utils/registry.py", line 52, in build_from_config raise KeyError(f"{req_type} not found in {registry.name} registry") KeyError: 'inference_animate_x_entrance not found in INFER_ENGINE registry'
- Assistant
Os erros que você está enfrentando indicam que há problemas na importação de módulos e no registro das funções de inferência no projeto "Animate-X". Vamos abordar os erros que você mencionou e fornecer soluções.
Erro 1:
ModuleNotFoundError: No module named 'torchvision'Esse erro indica que a biblioteca
torchvisionnão está instalada no seu ambiente. O "Animate-X" possivelmente depende dela para operações de transformação de imagem. Para resolver isso, você precisa instalar otorchvision.Solução para o Erro 1
Execute o seguinte comando no seu notebook do Google Colab para instalar o
torchvision:!pip install torchvisionErro 2:
KeyError: 'inference_animate_x_entrance not found in INFER_ENGINE registry'Esse erro indica que a função ou classe para realizar a inferência não está registrada adequadamente. Isso geralmente ocorre quando a função de inferência não é corretamente importada ou inicializada.
Solução para o Erro 2
-
Certifique-se de que a função
inference_animate_x_entranceé registrada: Primeiro, verifique o arquivoinference_animate_x_entrance.pypara garantir que a função de inferência está registrada corretamente. Você deve ter algo assim:from utils.registry import Registry INFER_ENGINE = Registry("INFER_ENGINE") @INFER_ENGINE.register() def inference_animate_x_entrance(...): ... -
Verifique o arquivo de configuração: Certifique-se de que seu arquivo de configuração (
Animate_X_infer.yaml) está apontando corretamente para o tipo de tarefa (TASK_TYPE: inference_animate_x_entrance). -
Importações no arquivo
registry.py: No arquivoregistry.py, você também deve garantir que todas as funções necessárias estão sendo importadas e registradas adequadamente.
Exemplo de Código Completo
Após garantir que as dependências estão instaladas, e que sua função de inferência está corretamente registrada, você pode tentar rodar novamente a inferência. Aqui está um exemplo de como você poderia organizar seu código no Colab:
# Instalar dependências necessárias !pip install torch torchvision # Clone o repositório Animate-X, se ainda não tiver feito !git clone https://github.com/antgroup/animate-x.git %cd animate-x # Instalar requisitos !pip install -r requirements.txt # Reinicie o ambiente de execução (ambiente > Reiniciar ambiente de execução) # Execute o script de inferência !python animatex/inference_animate_x_entrance.py --config configs/Animate_X_infer.yaml --inputs <caminhos_para_suas_imagens> --outputs <caminhos_para_salvar_resultados>Considerações Finais
- Verifique a versão do Python: O Colab geralmente usa Python 3.8 ou superior. Verifique se a versão do Python é compatível com o restante do projeto.
- Leia a documentação: Verifique o README do repositório "Animate-X" para instruções específicas que podem não ter sido abordadas aqui.
- Verifique se há problemas abertos: No repositório GitHub, veja se outros usuários relataram problemas semelhantes e se existem soluções publicadas.
Se, após essas etapas, você ainda enfrentar problemas, sinta-se à vontade para fornecer feedback para que possamos ajudar a resolver os problemas restantes.
-
- User
For Windows users, we explicitly import registry function inference_animate_x_entrance !!! Traceback (most recent call last): File "/content/Animate-X/utils/registry.py", line 41, in build_from_config from animatex.diffusion.diffusion_ddim import DiffusionDDIM File "/content/Animate-X/animatex/init.py", line 1, in from .inference_animate_x_entrance import * File "/content/Animate-X/animatex/inference_animate_x_entrance.py", line 26, in from .model.autoencoder import get_first_stage_encoding File "/content/Animate-X/animatex/model/init.py", line 1, in from .unet_animate_x import * File "/content/Animate-X/animatex/model/unet_animate_x.py", line 8, in from rotary_embedding_torch import RotaryEmbedding ModuleNotFoundError: No module named 'rotary_embedding_torch'
During handling of the above exception, another exception occurred:
Traceback (most recent call last): File "/content/Animate-X/inference.py", line 16, in INFER_ENGINE.build(dict(type=cfg_update.TASK_TYPE), cfg_update=cfg_update.cfg_dict) File "/content/Animate-X/utils/registry.py", line 104, in build return self.build_func(*args, **kwargs, registry=self) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/content/Animate-X/utils/registry_class.py", line 9, in build_func return build_from_config(cfg, registry, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/content/Animate-X/utils/registry.py", line 52, in build_from_config raise KeyError(f"{req_type} not found in {registry.name} registry") KeyError: 'inference_animate_x_entrance not found in INFER_ENGINE registry'
- Assistant
O erro que você está enfrentando é causado pela ausência do módulo
rotary_embedding_torche é seguido por um erro de chave no registro de inferência. Vamos resolver isso passo a passo.Erro 1:
ModuleNotFoundError: No module named 'rotary_embedding_torch'Esse erro indica que você não tem a biblioteca
rotary_embedding_torchinstalada. Para resolver isso, você precisará instalar essa biblioteca.Solução para o Erro 1
-
Instale o módulo ausente: Você pode instalar o
rotary_embedding_torchusando o seguinte comando:!pip install rotary-embedding-torch
Erro 2:
KeyError: 'inference_animate_x_entrance not found in INFER_ENGINE registry'Esse erro indica que a função ou classe de inferência não está registrada corretamente. Isso pode ser devido às dependências que não foram carregadas corretamente ou à configuração que está faltando.
Solução para o Erro 2
-
Certifique-se de que a função de inferência está registrada: Verifique se a função
inference_animate_x_entranceé registrada corretamente eminference_animate_x_entrance.py:from utils.registry import Registry INFER_ENGINE = Registry("INFER_ENGINE") @INFER_ENGINE.register() def inference_animate_x_entrance(...): # implementação da função -
Verifique a configuração do arquivo: Quando você chamar a inferência, garanta que o arquivo de configuração (
Animate_X_infer.yaml) esteja corretamente apontando paraTASK_TYPE:TASK_TYPE: inference_animate_x_entrance -
Reinicie o ambiente após alterações: Depois de instalar novos pacotes e fazer alterações, sempre reinicie o ambiente no Google Colab para que as mudanças tenham efeito.
Código Final (Resumido)
# Instalar dependências necessárias !pip install rotary-embedding-torch torchvision # Clone o repositório Animate-X, se ainda não tiver feito !git clone https://github.com/antgroup/animate-x.git %cd animate-x # Instalar requisitos !pip install -r requirements.txt # Reinicie o ambiente de execução (Ambiente > Reiniciar ambiente de execução) # Execute o script de inferência !python animatex/inference_animate_x_entrance.py --config configs/Animate_X_infer.yaml --inputs <caminhos_para_suas_imagens> --outputs <caminhos_para_salvar_resultados>Observações Finais
- Consistência das Versões: Certifique-se de que todas as bibliotecas (como
torchetorchvision) estão nas versões corretas e compatíveis entre si. - Documentação: Sempre consulte a documentação do repositório para verificar se há instruções ou dependências adicionais que você possa ter perdido.
Se você continuar tendo problemas após seguir essas etapas, por favor, compartilhe o erro exato que está enfrentando, e eu ficarei feliz em ajudar.
-
- User
For Windows users, we explicitly import registry function inference_animate_x_entrance !!! Traceback (most recent call last): File "/content/Animate-X/utils/registry.py", line 41, in build_from_config from animatex.diffusion.diffusion_ddim import DiffusionDDIM File "/content/Animate-X/animatex/init.py", line 1, in from .inference_animate_x_entrance import * File "/content/Animate-X/animatex/inference_animate_x_entrance.py", line 26, in from .model.autoencoder import get_first_stage_encoding File "/content/Animate-X/animatex/model/init.py", line 1, in from .unet_animate_x import * File "/content/Animate-X/animatex/model/unet_animate_x.py", line 9, in from fairscale.nn.checkpoint import checkpoint_wrapper ModuleNotFoundError: No module named 'fairscale'
During handling of the above exception, another exception occurred:
Traceback (most recent call last): File "/content/Animate-X/inference.py", line 16, in INFER_ENGINE.build(dict(type=cfg_update.TASK_TYPE), cfg_update=cfg_update.cfg_dict) File "/content/Animate-X/utils/registry.py", line 104, in build return self.build_func(*args, **kwargs, registry=self) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/content/Animate-X/utils/registry_class.py", line 9, in build_func return build_from_config(cfg, registry, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/content/Animate-X/utils/registry.py", line 52, in build_from_config raise KeyError(f"{req_type} not found in {registry.name} registry") KeyError: 'inference_animate_x_entrance not found in INFER_ENGINE registry'
- Assistant
O erro que você está enfrentando indica que está faltando a biblioteca
fairscale, que é uma dependência do projeto "Animate-X". Vamos resolver esse problema passo a passo.Resolvendo o Erro:
ModuleNotFoundError: No module named 'fairscale'Instalação do
fairscale-
Instale a Biblioteca: Você pode instalar o
fairscaleusando o pip. Execute o seguinte comando no seu notebook do Google Colab:!pip install fairscale
Erro de Registro de Inferência
Depois de instalar
fairscale, verifique as configurações de registro de inferência mencionadas nos erros.Verifique o Registro de Função de Inferência
-
Certifique-se de que
inference_animate_x_entranceestá registrado: Verifique o arquivoinference_animate_x_entrance.pypara garantir que a função de inferência esteja registrada corretamente:from utils.registry import Registry INFER_ENGINE = Registry("INFER_ENGINE") @INFER_ENGINE.register() def inference_animate_x_entrance(...): # implementação da função -
Verifique o arquivo de configuração
Animate_X_infer.yaml: Confirme que a chaveTASK_TYPEestá configurada parainference_animate_x_entrance:TASK_TYPE: inference_animate_x_entrance
Código Final (Para Compilar Tudo)
Aqui está um exemplo completo das etapas para resolver esses problemas. Execute cada um dos seguintes passos no seu notebook Colab:
# Instalar dependências necessárias !pip install fairscale rotary-embedding-torch torchvision # Clone o repositório Animate-X, caso ainda não tenha feito !git clone https://github.com/antgroup/animate-x.git %cd animate-x # Instalar requisitos do projeto !pip install -r requirements.txt # Reinicie o ambiente de execução após isso (Ambiente > Reiniciar ambiente de execução) # Execute o script de inferência !python animatex/inference_animate_x_entrance.py --config configs/Animate_X_infer.yaml --inputs <caminhos_para_suas_imagens> --outputs <caminhos_para_salvar_resultados>Observações Finais
- Reinício do Ambiente: Sempre reinicie o ambiente após instalar novas bibliotecas para garantir que as novas versões sejam carregadas corretamente.
- Verificação de Dependências: Caso outros módulos faltem, você pode continuar a instalá-los da mesma forma.
- Consulte a Documentação: Verifique se há instruções adicionais no
README.mddo repositório "Animate-X" para garantir que todas as dependências e configurações estejam corretas.
Se você continuar tendo problemas após seguir essas etapas, forneça a saída de erro específica que está enfrentando para ajuda adicional.
-
- User
instalar no colab update: aiofiles==23.2.1 aiohttp==3.9.1 aiosignal==1.3.1 aliyun-python-sdk-core==2.14.0 aliyun-python-sdk-kms==2.16.2 altair==5.2.0 annotated-types==0.6.0 antlr4-python3-runtime==4.9.3 anyio==4.2.0 asttokens==2.4.1 async-timeout==4.0.3 attrs==23.2.0 Automat==22.10.0 beartype==0.16.4 blessed==1.20.0 buildtools==1.0.6
causal-conv1d==1.1.3.post1
certifi==2023.11.17 cffi==1.16.0 chardet==5.2.0 charset-normalizer==3.3.2 clean-fid==0.1.35 click==8.1.7
clip==1.0
cmake==3.28.1 colorama==0.4.6 coloredlogs==15.0.1 constantly==23.10.4 contourpy==1.2.0 crcmod==1.7 cryptography==41.0.7 cycler==0.12.1 decorator==5.1.1 decord==0.6.0 diffusers==0.26.3 docopt==0.6.2 easydict==1.11 einops==0.7.0 exceptiongroup==1.2.0 executing==2.0.1 fairscale==0.4.13 fastapi==0.109.0 ffmpeg==1.4 ffmpy==0.3.1 filelock==3.13.1 flatbuffers==24.3.25 fonttools==4.47.2 frozenlist==1.4.1 fsspec==2023.12.2 ftfy==6.1.3 furl==2.1.3 gpustat==1.1.1 gradio==4.14.0 gradio_client==0.8.0 greenlet==3.0.3 h11==0.14.0 httpcore==1.0.2 httpx==0.26.0 huggingface-hub==0.20.2 humanfriendly==10.0 hyperlink==21.0.0 idna==3.6 imageio==2.33.1 imageio-ffmpeg==0.4.9 importlib-metadata==7.0.1 importlib-resources==6.1.1 incremental==22.10.0 ipdb==0.13.13 ipython==8.18.1 jedi==0.19.1 Jinja2==3.1.3 jmespath==0.10.0 joblib==1.3.2 jsonschema==4.21.0 jsonschema-specifications==2023.12.1 kiwisolver==1.4.5 kornia==0.7.1 lazy_loader==0.3 lightning-utilities==0.10.0 lit==17.0.6 lpips==0.1.4 markdown-it-py==3.0.0 MarkupSafe==2.1.3 matplotlib==3.8.2 matplotlib-inline==0.1.6 mdurl==0.1.2
motion-vector-extractor==1.0.6
mpmath==1.3.0 multidict==6.0.4 mypy-extensions==1.0.0 networkx==3.2.1 ninja==1.11.1.1 numpy==1.26.3 nvidia-cublas-cu11==11.10.3.66 nvidia-cublas-cu12==12.1.3.1 nvidia-cuda-cupti-cu11==11.7.101 nvidia-cuda-cupti-cu12==12.1.105 nvidia-cuda-nvrtc-cu11==11.7.99 nvidia-cuda-nvrtc-cu12==12.1.105 nvidia-cuda-runtime-cu11==11.7.99 nvidia-cuda-runtime-cu12==12.1.105 nvidia-cudnn-cu11==8.5.0.96 nvidia-cudnn-cu12==8.9.2.26 nvidia-cufft-cu11==10.9.0.58 nvidia-cufft-cu12==11.0.2.54 nvidia-curand-cu11==10.2.10.91 nvidia-curand-cu12==10.3.2.106 nvidia-cusolver-cu11==11.4.0.1 nvidia-cusolver-cu12==11.4.5.107 nvidia-cusparse-cu11==11.7.4.91 nvidia-cusparse-cu12==12.1.0.106 nvidia-ml-py==12.535.133 nvidia-nccl-cu11==2.14.3 nvidia-nccl-cu12==2.19.3 nvidia-nvjitlink-cu12==12.3.101 nvidia-nvtx-cu11==11.7.91 nvidia-nvtx-cu12==12.1.105 omegaconf==2.3.0 onnxruntime==1.18.0 open-clip-torch==2.24.0 opencv-python==4.5.3.56 opencv-python-headless==4.9.0.80 orderedmultidict==1.0.1 orjson==3.9.10 oss2==2.18.4
packaging==23.2
pandas==2.1.4 parso==0.8.3 pexpect==4.9.0 pillow==10.2.0 piq==0.8.0 pkgconfig==1.5.5 prompt-toolkit==3.0.43 protobuf==4.25.2 psutil==5.9.8 ptflops==0.7.2.2 ptyprocess==0.7.0 pure-eval==0.2.2 pycparser==2.21 pycryptodome==3.20.0 pydantic==2.5.3 pydantic_core==2.14.6 pydub==0.25.1 Pygments==2.17.2 pynvml==11.5.0 pyparsing==3.1.1 pyre-extensions==0.0.29 python-dateutil==2.8.2 python-multipart==0.0.6 pytorch-lightning==2.1.3 pytz==2023.3.post1 PyYAML==6.0.1 redo==2.0.4 referencing==0.32.1 regex==2023.12.25 requests==2.31.0 rich==13.7.0 rotary-embedding-torch==0.5.3 rpds-py==0.17.1 ruff==0.2.0 safetensors==0.4.1 scikit-image==0.22.0 scikit-learn==1.4.0 scipy==1.11.4 semantic-version==2.10.0 sentencepiece==0.1.99 shellingham==1.5.4 simplejson==3.19.2 six==1.16.0 sk-video==1.1.10 sniffio==1.3.0 SQLAlchemy==2.0.27 stack-data==0.6.3 starlette==0.35.1 sympy==1.12 thop==0.1.1.post2209072238 threadpoolctl==3.2.0 tifffile==2023.12.9 timm==0.9.12 tokenizers==0.15.0 tomli==2.0.1 tomlkit==0.12.0 toolz==0.12.0
torch==2.0.1+cu118
torchaudio==2.0.2+cu118
torchdiffeq==0.2.3 torchmetrics==1.3.0.post0 torchsde==0.2.6
torchvision==0.15.2+cu118
tqdm==4.66.1 traitlets==5.14.1 trampoline==0.1.2 transformers==4.36.2 triton==2.0.0 Twisted==23.10.0 typer==0.9.0 typing-inspect==0.9.0 typing_extensions==4.9.0 tzdata==2023.4 urllib3==2.1.0 uvicorn==0.26.0 wcwidth==0.2.13 websockets==11.0.3 xformers==0.0.20 yarl==1.9.4 zipp==3.17.0 zope.interface==6.2 onnxruntime-gpu==1.13.1
- Assistant
Para instalar as versões específicas de cada um dos pacotes listados no Google Colab, você pode usar o comando
pip installseguido dos nomes e versões dos pacotes. Para facilitar, você pode colocar todos os comandos em uma única célula do Colab. Vamos formatar isso corretamente.Passos para Instalação
- Abra seu notebook no Google Colab.
- Adicione uma nova célula.
- Cole o seguinte código:
# Instalar pacotes específicos no Colab !pip install aiofiles==23.2.1 aiohttp==3.9.1 aiosignal==1.3.1 aliyun-python-sdk-core==2.14.0 \ aliyun-python-sdk-kms==2.16.2 altair==5.2.0 annotated-types==0.6.0 antlr4-python3-runtime==4.9.3 \ anyio==4.2.0 asttokens==2.4.1 async-timeout==4.0.3 attrs==23.2.0 Automat==22.10.0 \ beartype==0.16.4 blessed==1.20.0 buildtools==1.0.6 certifi==2023.11.17 cffi==1.16.0 \ chardet==5.2.0 charset-normalizer==3.3.2 clean-fid==0.1.35 click==8.1.7 cmake==3.28.1 \ colorama==0.4.6 coloredlogs==15.0.1 constantly==23.10.4 contourpy==1.2.0 crcmod==1.7 \ cryptography==41.0.7 cycler==0.12.1 decorator==5.1.1 decord==0.6.0 diffusers==0.26.3 \ docopt==0.6.2 easydict==1.11 einops==0.7.0 exceptiongroup==1.2.0 executing==2.0.1 \ fairscale==0.4.13 fastapi==0.109.0 ffmpeg==1.4 ffmpy==0.3.1 filelock==3.13.1 \ flatbuffers==24.3.25 fonttools==4.47.2 frozenlist==1.4.1 fsspec==2023.12.2 ftfy==6.1.3 \ furl==2.1.3 gpustat==1.1.1 gradio==4.14.0 gradio_client==0.8.0 greenlet==3.0.3 \ h11==0.14.0 httpcore==1.0.2 httpx==0.26.0 huggingface-hub==0.20.2 humanfriendly==10.0 \ hyperlink==21.0.0 idna==3.6 imageio==2.33.1 imageio-ffmpeg==0.4.9 importlib-metadata==7.0.1 \ importlib-resources==6.1.1 incremental==22.10.0 ipdb==0.13.13 ipython==8.18.1 jedi==0.19.1 \ Jinja2==3.1.3 jmespath==0.10.0 joblib==1.3.2 jsonschema==4.21.0 jsonschema-specifications==2023.12.1 \ kiwisolver==1.4.5 kornia==0.7.1 lazy_loader==0.3 lightning-utilities==0.10.0 lit==17.0.6 \ lpips==0.1.4 markdown-it-py==3.0.0 MarkupSafe==2.1.3 matplotlib==3.8.2 matplotlib-inline==0.1.6 \ mdurl==0.1.2 mpmath==1.3.0 multidict==6.0.4 mypy-extensions==1.0.0 networkx==3.2.1 ninja==1.11.1.1 \ numpy==1.26.3 nvidia-cublas-cu11==11.10.3.66 nvidia-cublas-cu12==12.1.3.1 nvidia-cuda-cupti-cu11==11.7.101 \ nvidia-cuda-cupti-cu12==12.1.105 nvidia-cuda-nvrtc-cu11==11.7.99 nvidia-cuda-nvrtc-cu12==12.1.105 \ nvidia-cuda-runtime-cu11==11.7.99 nvidia-cuda-runtime-cu12==12.1.105 nvidia-cudnn-cu11==8.5.0.96 \ nvidia-cudnn-cu12==8.9.2.26 nvidia-cufft-cu11==10.9.0.58 nvidia-cufft-cu12==11.0.2.54 \ nvidia-curand-cu11==10.2.10.91 nvidia-curand-cu12==10.3.2.106 nvidia-cusolver-cu11==11.4.0.1 \ nvidia-cusolver-cu12==11.4.5.107 nvidia-cusparse-cu11==11.7.4.91 nvidia-cusparse-cu12==12.1.0.106 \ nvidia-ml-py==12.535.133 nvidia-nccl-cu11==2.14.3 nvidia-nccl-cu12==2.19.3 nvidia-nvjitlink-cu12==12.3.101 \ nvidia-nvtx-cu11==11.7.91 nvidia-nvtx-cu12==12.1.105 omegaconf==2.3.0 onnxruntime==1.18.0 \ open-clip-torch==2.24.0 opencv-python==4.5.3.56 opencv-python-headless==4.9.0.80 \ orderedmultidict==1.0.1 orjson==3.9.10 oss2==2.18.4 pandas==2.1.4 parso==0.8.3 \ pexpect==4.9.0 pillow==10.2.0 piq==0.8.0 pkgconfig==1.5.5 prompt-toolkit==3.0.43 \ protobuf==4.25.2 psutil==5.9.8 ptflops==0.7.2.2 ptyprocess==0.7.0 pure-eval==0.2.2 \ pycparser==2.21 pycryptodome==3.20.0 pydantic==2.5.3 pydantic_core==2.14.6 pydub==0.25.1 \ Pygments==2.17.2 pynvml==11.5.0 pyparsing==3.1.1 pyre-extensions==0.0.29 python-dateutil==2.8.2 \ python-multipart==0.0.6 pytorch-lightning==2.1.3 pytz==2023.3.post1 PyYAML==6.0.1 redo==2.0.4 \ referencing==0.32.1 regex==2023.12.25 requests==2.31.0 rich==13.7.0 rotary-embedding-torch==0.5.3 \ rpds-py==0.17.1 ruff==0.2.0 safetensors==0.4.1 scikit-image==0.22.0 scikit-learn==1.4.0 scipy==1.11.4 \ semantic-version==2.10.0 sentencepiece==0.1.99 shellingham==1.5.4 simplejson==3.19.2 six==1.16.0 \ sk-video==1.1.10 sniffio==1.3.0 SQLAlchemy==2.0.27 stack-data==0.6.3 starlette==0.35.1 \ sympy==1.12 thop==0.1.1.post2209072238 threadpoolctl==3.2.0 tifffile==2023.12.9 \ timm==0.9.12 tokenizers==0.15.0 tomli==2.0.1 tomlkit==0.12.0 toolz==0.12.0 torchdiffeq==0.2.3 \ torchmetrics==1.3.0.post0 torchsde==0.2.6 tqdm==4.66.1 traitlets==5.14.1 trampoline==0.1.2 \ transformers==4.36.2 triton==2.0.0 Twisted==23.10.0 typer==0.9.0 typing-inspect==0.9.0 \ typing_extensions==4.9.0 tzdata==2023.4 urllib3==2.1.0 uvicorn==0.26.0 wcwidth==0.2.13 \ websockets==11.0.3 xformers==0.0.20 yarl==1.9.4 zipp==3.17.0 zope.interface==6.2 onnxruntime-gpu==1.13.1Explicação do Código
- Uso de
!pip install: O prefixo!permite que você execute comandos do shell dentro de uma célula do notebook Colab. - Expecificando Versões: As versões de cada pacote foram especificadas para garantir que você obtenha exatamente as versões desejadas.
- Quebras de Linha: O uso de
\permite que você quebre o comando em várias linhas para melhor legibilidade.
Execução
Após colar o código na célula do Colab, execute-a. O Colab irá instalar todos os pacotes necessários com suas versões especificadas.
Observação
- Reiniciar o Ambiente: Após instalar os pacotes, considere reiniciar o ambiente de execução para garantir que todos os pacotes sejam carregados corretamente ao iniciar o uso.
- Erro de Dependência: Se você encontrar erros durante a instalação relacionadas a dependências, pode ser necessário resolver manualmente quais pacotes não são compatíveis entre si.
Se você tiver mais dúvidas ou precisar de assistência com a configuração, fique à vontade para perguntar!