como usar isto nno colab: <p align="center"> <img src="./example/IAM.png"> </p> Inpaint…
- User
como usar isto nno colab:
Inpaint Anything: Segment Anything Meets Image Inpainting
Inpaint Anything can inpaint anything in images, videos and 3D scenes!
- Authors: Tao Yu, Runseng Feng, Ruoyu Feng, Jinming Liu, Xin Jin, Wenjun Zeng and Zhibo Chen.
- Institutes: University of Science and Technology of China; Eastern Institute for Advanced Study.
- [Paper] [Website] [Hugging Face Homepage]
TL; DR: Users can select any object in an image by clicking on it. With powerful vision models, e.g., SAM, LaMa and Stable Diffusion (SD), Inpaint Anything is able to remove the object smoothly (i.e., Remove Anything). Further, prompted by user input text, Inpaint Anything can fill the object with any desired content (i.e., Fill Anything) or replace the background of it arbitrarily (i.e., Replace Anything).
📜 News
[2023/9/15] Remove Anything 3D code is available!
[2023/4/30] Remove Anything Video available! You can remove any object from a video!
[2023/4/24] Local web UI supported! You can run the demo website locally!
[2023/4/22] Website available! You can experience Inpaint Anything through the interface!
[2023/4/22] Remove Anything 3D available! You can remove any 3D object from a 3D scene!
[2023/4/13] Technical report on arXiv available!🌟 Features
- Remove Anything
- Fill Anything
- Replace Anything
- Remove Anything 3D (🔥NEW)
- Fill Anything 3D
- Replace Anything 3D
- Remove Anything Video (🔥NEW)
- Fill Anything Video
- Replace Anything Video
💡 Highlights
- Any aspect ratio supported
- 2K resolution supported
- Technical report on arXiv available (🔥NEW)
- Website available (🔥NEW)
- Local web UI available (🔥NEW)
- Multiple modalities (i.e., image, video and 3D scene) supported (🔥NEW)
📌 Remove Anything
Click on an object in the image, and Inpainting Anything will remove it instantly!
- Click on an object;
- Segment Anything Model (SAM) segments the object out;
- Inpainting models (e.g., LaMa) fill the "hole".
Installation
Requires
python>=3.8python -m pip install torch torchvision torchaudio python -m pip install -e segment_anything python -m pip install -r lama/requirements.txtIn Windows, we recommend you to first install miniconda and open
Anaconda Powershell Prompt (miniconda3)as administrator. Then pip install ./lama_requirements_windows.txt instead of ./lama/requirements.txt.Usage
Download the model checkpoints provided in Segment Anything and LaMa (e.g., sam_vit_h_4b8939.pth and big-lama), and put them into
./pretrained_models. For simplicity, you can also go here, directly download pretrained_models, put the directory into./and get./pretrained_models.For MobileSAM, the sam_model_type should use "vit_t", and the sam_ckpt should use "./weights/mobile_sam.pt". For the MobileSAM project, please refer to MobileSAM
bash script/remove_anything.shSpecify an image and a point, and Remove Anything will remove the object at the point.
python remove_anything.py \ --input_img ./example/remove-anything/dog.jpg \ --coords_type key_in \ --point_coords 200 450 \ --point_labels 1 \ --dilate_kernel_size 15 \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pth \ --lama_config ./lama/configs/prediction/default.yaml \ --lama_ckpt ./pretrained_models/big-lamaYou can change
--coords_type key_into--coords_type clickif your machine has a display device. Ifclickis set, after running the above command, the image will be displayed. (1) Use left-click to record the coordinates of the click. It supports modifying points, and only last point coordinates are recorded. (2) Use right-click to finish the selection.Demo
📌 Fill Anything
Click on an object, type in what you want to fill, and Inpaint Anything will fill it!
- Click on an object;
- SAM segments the object out;
- Input a text prompt;
- Text-prompt-guided inpainting models (e.g., Stable Diffusion) fill the "hole" according to the text.
Installation
Requires
python>=3.8python -m pip install torch torchvision torchaudio python -m pip install -e segment_anything python -m pip install diffusers transformers accelerate scipy safetensorsUsage
Download the model checkpoints provided in Segment Anything (e.g., sam_vit_h_4b8939.pth) and put them into
./pretrained_models. For simplicity, you can also go here, directly download pretrained_models, put the directory into./and get./pretrained_models.For MobileSAM, the sam_model_type should use "vit_t", and the sam_ckpt should use "./weights/mobile_sam.pt". For the MobileSAM project, please refer to MobileSAM
bash script/fill_anything.shSpecify an image, a point and text prompt, and run:
python fill_anything.py \ --input_img ./example/fill-anything/sample1.png \ --coords_type key_in \ --point_coords 750 500 \ --point_labels 1 \ --text_prompt "a teddy bear on a bench" \ --dilate_kernel_size 50 \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pthDemo
📌 Replace Anything
Click on an object, type in what background you want to replace, and Inpaint Anything will replace it!
- Click on an object;
- SAM segments the object out;
- Input a text prompt;
- Text-prompt-guided inpainting models (e.g., Stable Diffusion) replace the background according to the text.
Installation
Requires
python>=3.8python -m pip install torch torchvision torchaudio python -m pip install -e segment_anything python -m pip install diffusers transformers accelerate scipy safetensorsUsage
Download the model checkpoints provided in Segment Anything (e.g. sam_vit_h_4b8939.pth) and put them into
./pretrained_models. For simplicity, you can also go here, directly download pretrained_models, put the directory into./and get./pretrained_models.For MobileSAM, the sam_model_type should use "vit_t", and the sam_ckpt should use "./weights/mobile_sam.pt". For the MobileSAM project, please refer to MobileSAM
bash script/replace_anything.shSpecify an image, a point and text prompt, and run:
python replace_anything.py \ --input_img ./example/replace-anything/dog.png \ --coords_type key_in \ --point_coords 750 500 \ --point_labels 1 \ --text_prompt "sit on the swing" \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pthDemo
📌 Remove Anything 3D
With a single click on an object in the first view of source views, Remove Anything 3D can remove the object from the whole scene!
- Click on an object in the first view of source views;
- SAM segments the object out (with three possible masks);
- Select one mask;
- A tracking model such as OSTrack is ultilized to track the object in these views;
- SAM segments the object out in each source view according to tracking results;
- An inpainting model such as LaMa is ultilized to inpaint the object in each source view.
- A novel view synthesizing model such as NeRF is ultilized to synthesize novel views of the scene without the object.
Installation
Requires
python>=3.8python -m pip install torch torchvision torchaudio python -m pip install -e segment_anything python -m pip install -r lama/requirements.txt python -m pip install jpeg4py lmdbUsage
Download the model checkpoints provided in Segment Anything and LaMa (e.g., sam_vit_h_4b8939.pth), and put them into
./pretrained_models. Further, download OSTrack pretrained model from here (e.g., vitb_384_mae_ce_32x4_ep300.pth) and put it into./pytracking/pretrain. In addition, download [nerf_llff_data] (e.g, horns), and put them into./example/3d. For simplicity, you can also go here, directly download pretrained_models, put the directory into./and get./pretrained_models. Additionally, download pretrain, put the directory into./pytrackingand get./pytracking/pretrain.For MobileSAM, the sam_model_type should use "vit_t", and the sam_ckpt should use "./weights/mobile_sam.pt". For the MobileSAM project, please refer to MobileSAM
bash script/remove_anything_3d.shSpecify a 3d scene, a point, scene config and mask index (indicating using which mask result of the first view), and Remove Anything 3D will remove the object from the whole scene.
python remove_anything_3d.py \ --input_dir ./example/3d/horns \ --coords_type key_in \ --point_coords 830 405 \ --point_labels 1 \ --dilate_kernel_size 15 \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pth \ --lama_config ./lama/configs/prediction/default.yaml \ --lama_ckpt ./pretrained_models/big-lama \ --tracker_ckpt vitb_384_mae_ce_32x4_ep300 \ --mask_idx 1 \ --config ./nerf/configs/horns.txt \ --expname hornsThe
--mask_idxis usually set to 1, which typically is the most confident mask result of the first frame. If the object is not segmented out well, you can try other masks (0 or 2).📌 Remove Anything Video
With a single click on an object in the first video frame, Remove Anything Video can remove the object from the whole video!
- Click on an object in the first frame of a video;
- SAM segments the object out (with three possible masks);
- Select one mask;
- A tracking model such as OSTrack is ultilized to track the object in the video;
- SAM segments the object out in each frame according to tracking results;
- A video inpainting model such as STTN is ultilized to inpaint the object in each frame.
Installation
Requires
python>=3.8python -m pip install torch torchvision torchaudio python -m pip install -e segment_anything python -m pip install -r lama/requirements.txt python -m pip install jpeg4py lmdbUsage
Download the model checkpoints provided in Segment Anything and STTN (e.g., sam_vit_h_4b8939.pth and sttn.pth), and put them into
./pretrained_models. Further, download OSTrack pretrained model from here (e.g., vitb_384_mae_ce_32x4_ep300.pth) and put it into./pytracking/pretrain. For simplicity, you can also go here, directly download pretrained_models, put the directory into./and get./pretrained_models. Additionally, download pretrain, put the directory into./pytrackingand get./pytracking/pretrain.For MobileSAM, the sam_model_type should use "vit_t", and the sam_ckpt should use "./weights/mobile_sam.pt". For the MobileSAM project, please refer to MobileSAM
bash script/remove_anything_video.shSpecify a video, a point, video FPS and mask index (indicating using which mask result of the first frame), and Remove Anything Video will remove the object from the whole video.
python remove_anything_video.py \ --input_video ./example/video/paragliding/original_video.mp4 \ --coords_type key_in \ --point_coords 652 162 \ --point_labels 1 \ --dilate_kernel_size 15 \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pth \ --lama_config lama/configs/prediction/default.yaml \ --lama_ckpt ./pretrained_models/big-lama \ --tracker_ckpt vitb_384_mae_ce_32x4_ep300 \ --vi_ckpt ./pretrained_models/sttn.pth \ --mask_idx 2 \ --fps 25The
--mask_idxis usually set to 2, which typically is the most confident mask result of the first frame. If the object is not segmented out well, you can try other masks (0 or 1).Demo
Acknowledgments
Other Interesting Repositories
Citation
If you find this work useful for your research, please cite us:
@article{yu2023inpaint, title={Inpaint Anything: Segment Anything Meets Image Inpainting}, author={Yu, Tao and Feng, Runseng and Feng, Ruoyu and Liu, Jinming and Jin, Xin and Zeng, Wenjun and Chen, Zhibo}, journal={arXiv preprint arXiv:2304.06790}, year={2023} } - Assistant
Para usar Inpaint Anything en Google Colab, sigue estos pasos:
1. Configura tu entorno en Google Colab
Abre un nuevo cuaderno de Google Colab y ejecuta las siguientes celdas para instalar las dependencias necesarias.
# Instala PyTorch y otras dependencias !pip install torch torchvision torchaudio !pip install -U segment-anything !pip install diffusers transformers accelerate scipy safetensors jpeg4py lmdb2. Clona el repositorio de Inpaint Anything
Clona el repositorio que contiene el código y los modelos necesarios.
!git clone https://github.com/geekyutao/Inpaint-Anything.git %cd Inpaint-Anything3. Descarga los modelos preentrenados
Necesitarás descargar los modelos preentrenados para Segment Anything y LaMa. Puedes usar los siguientes comandos para descargarlos y moverlos a la ubicación adecuada.
# Descarga Segment Anything !wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth -P pretrained_models/ # Descarga LaMa !wget <URL_DEL_MODELO_LAMA> -P pretrained_models/Asegúrate de reemplazar
<URL_DEL_MODELO_LAMA>con la URL del modelo LaMa correspondiente (por ejemplo, podría ser un enlace a un modelo en Yandex Disk o Google Drive según lo proporcionado por el autor).4. Usa las funciones de Inpaint Anything
Ahora puedes ejecutar los scripts para usar las funciones de eliminación, relleno o reemplazo de objetos en imágenes.
Para eliminar un objeto
!python remove_anything.py \ --input_img ./example/remove-anything/dog.jpg \ --coords_type click \ --dilate_kernel_size 15 \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pth \ --lama_config ./lama/configs/prediction/default.yaml \ --lama_ckpt ./pretrained_models/big-lamaPara rellenar un objeto
!python fill_anything.py \ --input_img ./example/fill-anything/sample1.png \ --coords_type click \ --point_coords 750 500 \ --text_prompt "a teddy bear on a bench" \ --dilate_kernel_size 50 \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pth5. Visualiza los resultados
Los resultados se guardarán en la carpeta
./results. Puedes usar el siguiente código para visualizar los resultados en Colab.from PIL import Image import matplotlib.pyplot as plt result_img = Image.open('./results/resultado.jpg') # Cambia el nombre de archivo según sea necesario plt.imshow(result_img) plt.axis('off') plt.show()Notas
- Si deseas usar la funcionalidad de eliminación o reemplazo de videos, asegúrate de tener un video de entrada en la carpeta adecuada y ajusta los parámetros según sea necesario.
- La interacción con el clic requiere que se ejecute en un entorno con interfaz gráfica. Esto puede no ser posible directamente en Google Colab, y es posible que debas usar una alternativa.
Estos pasos te permitirán usar Inpaint Anything en Google Colab. Si tienes preguntas adicionales o necesitas ayuda, ¡no dudes en preguntar!
- User
Para rellenar un objeto?
- Assistant
Para rellenar un objeto utilizando Inpaint Anything en Google Colab, puedes seguir estos pasos específicos. Asegúrate de haber seguido las instrucciones de configuración inicial que mencioné en la respuesta anterior.
1. Preparar el entorno y las dependencias
Si aún no lo has hecho, asegúrate de ejecutar todas las celdas necesarias para instalar las bibliotecas requeridas y clonar el repositorio de Inpaint Anything:
# Instalar PyTorch y otras dependencias !pip install torch torchvision torchaudio !pip install -U segment-anything !pip install diffusers transformers accelerate scipy safetensors jpeg4py lmdb # Clona el repositorio !git clone https://github.com/geekyutao/Inpaint-Anything.git %cd Inpaint-Anything2. Descargar los modelos preentrenados
Asegúrate de tener los modelos necesarios:
# Descargar Segment Anything !wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth -P pretrained_models/ # Descargar LaMa (reemplaza <URL_DEL_MODELO_LAMA> con la URL real del modelo) !wget <URL_DEL_MODELO_LAMA> -P pretrained_models/3. Usar la función de "Fill Anything" para rellenar un objeto
Aquí tienes un comando de ejemplo que se puede utilizar para rellenar un objeto en una imagen:
!python fill_anything.py \ --input_img ./example/fill-anything/sample1.png \ # Cambia esta ruta a tu imagen --coords_type click \ # Puedes usar 'key_in' si prefieres ingresar las coordenadas manualmente --point_coords 750 500 \ # Coordenadas X, Y del punto clickeado (ejemplo) --text_prompt "un oso de peluche en un banco" \ # Texto que describe lo que deseas rellenar --dilate_kernel_size 50 \ # Tamaño del kernel para dilatación --output_dir ./results \ # Directorio donde se guardará el resultado --sam_model_type "vit_h" \ # Tipo de modelo SAM --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pth # Ruta del modelo SAMAsegúrate de modificar los parámetros como
--input_img,--point_coordsy--text_promptpara que se ajusten a tus necesidades específicas.Ejemplo de imagen
Si quieres usar una imagen de ejemplo que ya está en el repositorio, puedes hacer una llamada como esta (cambiando el nombre del archivo y la ruta cuando sea necesario):
!python fill_anything.py \ --input_img ./example/fill-anything/sample1.png \ # Ruta a la imagen de entrada --coords_type key_in \ # Cambia a 'key_in' para interacciones de clic --point_coords 750 500 \ # Puedes cambiar esto a las coordenadas adecuadas --text_prompt "a teddy bear on a bench" \ # Descripción de lo que deseas --dilate_kernel_size 50 \ # El tamaño de la dilatación en píxeles --output_dir ./results \ # Carpeta donde se guardará la salida --sam_model_type "vit_h" \ # Modelo de Segment Anything --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pth # Modelo SAM específico4. Visualizar el resultado
Después de ejecutar el script, puedes visualizar el resultado guardado en la carpeta
./resultscon el siguiente código:from PIL import Image import matplotlib.pyplot as plt # Cambia 'resultado.jpg' al nombre del resultado que se creó result_img = Image.open('./results/resultado.jpg') plt.imshow(result_img) plt.axis('off') plt.show()Notas adicionales
- Interacción con clic: Si estás usando
coords_typecomoclick, necesitarás un entorno que permita interactuar con gráficos para seleccionar las coordenadas haciendo clic (esto podría no estar disponible directamente en Google Colab). - Ruta de la imagen: Asegúrate de que la ruta de la imagen que deseas procesar sea correcta.
- Entrada de texto: Personaliza la entrada de texto en función de lo que deseas que la IA genere para llenar el área seleccionada.
Si necesitas más ayuda o tienes preguntas específicamente sobre algún paso, ¡no dudes en preguntar!
- Interacción con clic: Si estás usando
- User
Traceback (most recent call last): File "/content/Inpaint-Anything/remove_anything.py", line 9, in from lama_inpaint import inpaint_img_with_lama File "/content/Inpaint-Anything/lama_inpaint.py", line 19, in from saicinpainting.evaluation.utils import move_to_device File "/content/Inpaint-Anything/lama/saicinpainting/evaluation/init.py", line 6, in from saicinpainting.evaluation.losses.base_loss import SSIMScore, LPIPSScore, FIDScore File "/content/Inpaint-Anything/lama/saicinpainting/evaluation/losses/base_loss.py", line 15, in from .lpips import PerceptualLoss File "/content/Inpaint-Anything/lama/saicinpainting/evaluation/losses/lpips.py", line 15, in from saicinpainting.utils import get_shape File "/content/Inpaint-Anything/lama/saicinpainting/utils.py", line 12, in from pytorch_lightning import seed_everything ModuleNotFoundError: No module named 'pytorch_lightning'
- Assistant
El error que estás viendo indica que la biblioteca
pytorch_lightningno está instalada en tu entorno de Google Colab. Esta biblioteca es necesaria para que el código deInpaint Anythingfuncione correctamente, especialmente en la parte del inpainting utilizando LaMa.Para resolver este problema, sigue estos pasos en tu cuaderno de Google Colab:
1. Instala PyTorch Lightning
Ejecuta la siguiente celda en tu cuaderno de Colab para instalar
pytorch_lightning:!pip install pytorch_lightning2. Verifica la instalación
Puedes verificar que la instalación fue exitosa tratando de importar la biblioteca:
import pytorch_lightning as pl print(pl.__version__)3. Vuelve a ejecutar el script
Después de haber instalado
pytorch_lightning, intenta ejecutar de nuevo el script que causó el error:!python fill_anything.py \ --input_img ./example/fill-anything/sample1.png \ --coords_type click \ --point_coords 750 500 \ --text_prompt "un oso de peluche en un banco" \ --dilate_kernel_size 50 \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pthNotas adicionales
-
Instalación de otras dependencias: Si después de instalar
pytorch_lightningte encuentras con otros errores de importación, es una buena práctica revisar la documentación del proyecto y asegurarte de que todas las dependencias estén instaladas. -
Uso de entornos virtuales: Aunque no es posible en Google Colab, en otros entornos de desarrollo puedes usar entornos virtuales (como
venvoconda) para gestionar las dependencias y evitar conflictos. -
Recuerda reiniciar el entorno: A veces puede ser necesario reiniciar el entorno de ejecución en Google Colab después de instalar nuevas bibliotecas para que todas las configuraciones y cambios tengan efecto. Puedes hacerlo desde el menú:
Entorno de ejecución>Reiniciar entorno de ejecución.
Si después de seguir estos pasos sigues teniendo problemas, no dudes en preguntar. ¡Estoy aquí para ayudar!
-
- User
/usr/local/lib/python3.11/dist-packages/albumentations/init.py:28: UserWarning: A new version of Albumentations is available: '2.0.4' (you have '2.0.3'). Upgrade using: pip install -U albumentations. To disable automatic update checks, set the environment variable NO_ALBUMENTATIONS_UPDATE to 1. check_for_updates() Traceback (most recent call last): File "/content/Inpaint-Anything/remove_anything.py", line 9, in from lama_inpaint import inpaint_img_with_lama File "/content/Inpaint-Anything/lama_inpaint.py", line 20, in from saicinpainting.training.trainers import load_checkpoint File "/content/Inpaint-Anything/lama/saicinpainting/training/trainers/init.py", line 3, in from saicinpainting.training.trainers.default import DefaultInpaintingTrainingModule File "/content/Inpaint-Anything/lama/saicinpainting/training/trainers/default.py", line 7, in from saicinpainting.training.data.datasets import make_constant_area_crop_params File "/content/Inpaint-Anything/lama/saicinpainting/training/data/datasets.py", line 19, in from saicinpainting.training.data.aug import IAAAffine2, IAAPerspective2 File "/content/Inpaint-Anything/lama/saicinpainting/training/data/aug.py", line 1, in from albumentations import DualIAATransform, to_tuple ImportError: cannot import name 'DualIAATransform' from 'albumentations' (/usr/local/lib/python3.11/dist-packages/albumentations/init.py)
- Assistant
El error indica que el código intenta importar
DualIAATransformdesde la bibliotecaalbumentations, pero esta clase no está disponible en la versión actual que tienes instalada. Este problema puede deberse a que la implementación deInpaint Anythingestá diseñada para funcionar con una versión específica dealbumentations.Solución
Para resolver este problema, puedes intentar actualizar
albumentationsa la última versión. No obstante, si se requiere una versión específica que incluya la clase que falta, primero debes desinstalar la versión actual y luego instalar la versión compatible.Aquí están los pasos para realizar esto en Google Colab:
-
Desinstalar la versión actual de
albumentations:!pip uninstall -y albumentations -
Instalar una versión específica de
albumentations:Puedes instalar una versión anterior de
albumentationsque sea compatible con tu código. Por ejemplo, siDualIAATransformestá disponible en la versión1.1.0, puedes instalarla así:!pip install albumentations==1.1.0 -
Reinicia el entorno de ejecución (opcional pero recomendado):
Después de instalar o desinstalar paquetes, es buena práctica reiniciar el entorno de ejecución en Google Colab para asegurarte de que todos los cambios surtan efecto. Puedes hacerlo desde el menú:
Entorno de ejecución>Reiniciar entorno de ejecución. -
Vuelve a ejecutar tu script:
Después de realizar estos cambios, intenta ejecutar nuevamente el script de
fill_anything.py.
Notas:
- Las versiones pueden variar, así que si la versión
1.1.0no funciona, puedes probar con alguna otra versión que puedas encontrar en la documentación de Albumentations. - Si sigues teniendo problemas, por favor proporciona detalles adicionales sobre cualquier nuevo error que puedas encontrar, y estaré encantado de ayudar.
-
- User
Detectron v2 is not installed Traceback (most recent call last): File "/content/Inpaint-Anything/remove_anything.py", line 9, in from lama_inpaint import inpaint_img_with_lama File "/content/Inpaint-Anything/lama_inpaint.py", line 20, in from saicinpainting.training.trainers import load_checkpoint File "/content/Inpaint-Anything/lama/saicinpainting/training/trainers/init.py", line 3, in from saicinpainting.training.trainers.default import DefaultInpaintingTrainingModule File "/content/Inpaint-Anything/lama/saicinpainting/training/trainers/default.py", line 10, in from saicinpainting.training.modules.fake_fakes import FakeFakesGenerator File "/content/Inpaint-Anything/lama/saicinpainting/training/modules/fake_fakes.py", line 2, in from kornia import SamplePadding ImportError: cannot import name 'SamplePadding' from 'kornia' (/usr/local/lib/python3.11/dist-packages/kornia/init.py)
- Assistant
El error que estás recibiendo indica que la biblioteca Kornia no tiene una clase o función llamada
SamplePadding. Esto puede deberse a un cambio en la API de Kornia en versiones recientes.1. Solucionar el problema de Kornia
Paso 1: Desinstalar Kornia
Primero, desinstala la versión actual de Kornia:
!pip uninstall -y korniaPaso 2: Instalar una versión específica de Kornia
La implementación de Inpaint Anything puede requerir una versión específica de Kornia. La versión 0.6.0 suele ser compatible, pero puedes probar también con versiones anteriores si eso no funciona:
!pip install kornia==0.6.02. Instalar Detectron2
Además, mencionas que Detectron2 no está instalado. Para instalarlo, ejecuta el siguiente comando. Este paso es necesario si tu proyecto requiere funcionalidades específicas de Detectron:
# Instalar Detectron2 !pip install 'git+https://github.com/facebookresearch/detectron2.git'3. Reiniciar el entorno de ejecución
Después de desinstalar e instalar las bibliotecas, es buena práctica reiniciar el entorno de ejecución de Google Colab para asegurarte de que todos los cambios surtan efecto. Puedes hacerlo desde el menú:
Entorno de ejecución>Reiniciar entorno de ejecución.4. Volver a ejecutar el script
Después de realizar estos cambios, intenta ejecutar nuevamente el script correspondiente de Inpaint Anything:
!python fill_anything.py \ --input_img ./example/fill-anything/sample1.png \ --coords_type click \ --point_coords 750 500 \ --text_prompt "un oso de peluche en un banco" \ --dilate_kernel_size 50 \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pthNotas:
- Si sigues encontrando otros errores relacionados con las dependencias, es posible que necesites revisar la documentación oficial de Inpaint Anything o su archivo
requirements.txtpara asegurarte de estar instalando las versiones correctas de cada biblioteca. - Si no estás seguro de qué versión utilizar, a veces una búsqueda rápida en la documentación del proyecto en GitHub o en el repositorio PyPI puede ofrecerte información sobre la versión que fue probada con éxito.
Si aún te enfrentas a problemas, no dudes en comunicarlo y te ayudaré a solucionarlo.
- Si sigues encontrando otros errores relacionados con las dependencias, es posible que necesites revisar la documentación oficial de Inpaint Anything o su archivo
- User
Downloading: "https://github.com/DagnyT/hardnet/raw/master/pretrained/train_liberty_with_aug/checkpoint_liberty_with_aug.pth" to /root/.cache/torch/hub/checkpoints/checkpoint_liberty_with_aug.pth 100% 5.10M/5.10M [00:00<00:00, 82.1MB/s] Traceback (most recent call last): File "/content/Inpaint-Anything/remove_anything.py", line 9, in from lama_inpaint import inpaint_img_with_lama File "/content/Inpaint-Anything/lama_inpaint.py", line 20, in from saicinpainting.training.trainers import load_checkpoint File "/content/Inpaint-Anything/lama/saicinpainting/training/trainers/init.py", line 3, in from saicinpainting.training.trainers.default import DefaultInpaintingTrainingModule File "/content/Inpaint-Anything/lama/saicinpainting/training/trainers/default.py", line 10, in from saicinpainting.training.modules.fake_fakes import FakeFakesGenerator File "/content/Inpaint-Anything/lama/saicinpainting/training/modules/fake_fakes.py", line 2, in from kornia import SamplePadding ImportError: cannot import name 'SamplePadding' from 'kornia' (/usr/local/lib/python3.11/dist-packages/kornia/init.py)
- Assistant
El error que estás viendo indica que la clase
SamplePaddingno se encuentra en la versión de Kornia instalada en tu entorno. Esto puede deberse a que su API cambió y, como resultado, el código de Inpaint Anything puede estar tratando de usar una función que no está disponible en la versión actual.Para resolver este problema, aquí tienes un conjunto de pasos que deberías seguir:
1. Desinstalar Kornia
Desinstala Kornia para asegurarte de que no haya conflictos:
!pip uninstall -y kornia2. Instalar una versión compatible de Kornia
A partir de lo que observamos en los errores anteriores, parece que hay cambios en Kornia desde la versión 0.6.0. La biblioteca Inpaint Anything puede requerir una versión más reciente o más antigua. A menudo, las bibliotecas se modifican, por lo que si has probado la versión 0.6.0 y aún encuentras un problema, intenta instalar una versión más reciente.
Prueba primero con la versión 0.6.1, pero si eso no funciona, prueba con la 0.5.9:
!pip install kornia==0.6.1o
!pip install kornia==0.5.93. Verifica el directorio de Kornia
Después de la instalación, verifica que Kornia se haya instalado correctamente:
import kornia print(kornia.__version__)4. Reinstalar dependencias de Inpaint Anything
Si aún tienes problemas, asegúrate de que todas las dependencias estén actualizadas y en la versión correcta. Es recomendable reinstalar todo, incluida la biblioteca Inpaint Anything si es necesario:
# Clonar nuevamente el repositorio de Inpaint Anything !git clone https://github.com/geekyutao/Inpaint-Anything.git %cd Inpaint-Anything # Instalar las dependencias nuevamente !pip install -U -r requirements.txt # Asegúrate de tener un requirements.txt que tenga las dependencias correctas5. Ejecutar el script nuevamente
Luego de estos pasos, intenta ejecutar tu script nuevamente:
!python fill_anything.py \ --input_img ./example/fill-anything/sample1.png \ --coords_type click \ --point_coords 750 500 \ --text_prompt "un oso de peluche en un banco" \ --dilate_kernel_size 50 \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pth6. Última opción: Revisar el repositorio
Si después de todos estos pasos sigues enfrentándote a problemas, revisa el repositorio de Inpaint Anything en GitHub para ver si se han actualizado las instrucciones de instalación o si hay una versión diferente que deberías usar. También puedes consultar problemas abiertos en el repositorio, ya que otros pueden estar enfrentando problemas similares.
Si necesitas más ayuda, no dudes en preguntar. Estoy aquí para ayudarte a solucionar estos problemas.
- User
ERROR: Could not find a version that satisfies the requirement kornia==0.5.9 (from versions: 0.1.3.post2, 0.1.4, 0.1.4.post2, 0.2.0, 0.2.1, 0.2.2, 0.3.0, 0.3.1, 0.3.2, 0.4.0, 0.4.1, 0.5.0, 0.5.1, 0.5.2, 0.5.3, 0.5.4, 0.5.5, 0.5.6, 0.5.7, 0.5.8, 0.5.10, 0.5.11, 0.6.0, 0.6.1, 0.6.2, 0.6.3, 0.6.4, 0.6.5, 0.6.6, 0.6.7, 0.6.8, 0.6.9, 0.6.10, 0.6.11, 0.6.12, 0.7.0, 0.7.1, 0.7.2, 0.7.3, 0.7.4, 0.8.0) ERROR: No matching distribution found for kornia==0.5.9
- Assistant
Parece que la versión
0.5.9de Kornia no está disponible. Puedes usar una de las versiones más recientes, como la0.6.0,0.6.1, o cualquier otra versión hasta0.8.0, ya que esas son las versiones en las que se ha reportado compatibilidad.Pasos para resolver el problema
-
Desinstalar Kornia
Si aún no lo has hecho, asegúrate de desinstalar cualquier versión de Kornia instalada:
!pip uninstall -y kornia -
Instalar una versión compatible de Kornia
Intenta instalar la versión
0.6.1, que es una opción comúnmente compatible:!pip install kornia==0.6.1O también puedes probar la versión más reciente:
!pip install kornia==0.8.0
Verificar la versión instalada
Después de la instalación, verifica que Kornia se ha instalado correctamente:
import kornia print(kornia.__version__)Esto te dará la versión de Kornia instalada actualmente.
3. Reinstalar Dependencias de Inpaint Anything
Después de instalar Kornia, asegúrate de que todas las dependencias requeridas por Inpaint Anything están correctamente configuradas:
# Clona nuevamente el repositorio de Inpaint Anything (si es necesario) !git clone https://github.com/geekyutao/Inpaint-Anything.git %cd Inpaint-Anything # Instalar las dependencias en requirements.txt (si existe) !pip install -r requirements.txt4. Ejecutar el script nuevamente
Prueba ejecutar el script que causa los errores de importación de Kornia:
!python fill_anything.py \ --input_img ./example/fill-anything/sample1.png \ --coords_type click \ --point_coords 750 500 \ --text_prompt "un oso de peluche en un banco" \ --dilate_kernel_size 50 \ --output_dir ./results \ --sam_model_type "vit_h" \ --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pthSi el error persiste
Si después de seguir estos pasos continúas recibiendo errores relacionados con Kornia o cualquier otra dependencia, proporciona la salida y más detalles del error, y te ayudaré a identificar la causa y a solucionarlo. Además, asegúrate de revisar la documentación oficial de Kornia para obtener información sobre las versiones y cambios recientes.
-
- User
usage: remove_anything.py [-h] --input_img INPUT_IMG --coords_type {click,key_in} --point_coords POINT_COORDS [POINT_COORDS ...] --point_labels POINT_LABELS [POINT_LABELS ...] [--dilate_kernel_size DILATE_KERNEL_SIZE] --output_dir OUTPUT_DIR [--sam_model_type {vit_h,vit_l,vit_b,vit_t}] --sam_ckpt SAM_CKPT [--lama_config LAMA_CONFIG] --lama_ckpt LAMA_CKPT remove_anything.py: error: the following arguments are required: --point_coords, --point_labels
- Assistant
El error que estás viendo indica que faltan argumentos necesarios en la línea de comandos que estás utilizando para ejecutar
remove_anything.py. En particular, necesitas proporcionar valores para--point_coordsy--point_labels.Sintaxis de Uso de
remove_anything.pyLa forma básica de usar el script es la siguiente:
python remove_anything.py \ --input_img <ruta_a_la_imagen> \ --coords_type <tipo_de_coordenadas> \ --point_coords <coordenadas_x> <coordenadas_y> \ --point_labels <etiqueta_de_punto> \ --output_dir <directorio_de_salida> \ --sam_model_type <tipo_de_modelo_SAM> \ --sam_ckpt <ruta_al_modelo_SAM> \ --lama_config <ruta_al_config_LaMa> \ --lama_ckpt <ruta_al_modelo_LaMa>Ejemplo de Uso
Asegúrate de incluir todos los argumentos necesarios. Aquí tienes un ejemplo de cómo debería verse el comando completo:
!python remove_anything.py \ --input_img ./example/remove-anything/dog.jpg \ # Imagen de entrada --coords_type click \ # O 'key_in' para ingresar coordenadas manualmente --point_coords 200 450 \ # Coordenadas X e Y (por ejemplo, 200 450) --point_labels 1 \ # Etiqueta para el punto (usualmente 1 si estás seleccionando un objeto) --dilate_kernel_size 15 \ # Tamaño del kernel de dilatación --output_dir ./results \ # Carpeta para almacenar los resultados --sam_model_type "vit_h" \ # Tipo de modelo SAM --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pth \ # Ruta del modelo SAM --lama_config ./lama/configs/prediction/default.yaml \ # Ruta al archivo de configuración LaMa --lama_ckpt ./pretrained_models/big-lama # Ruta del modelo LaMaNotas Importantes:
-
Coordenadas de Punto: Asegúrate de que las coordenadas del punto se correspondan con las dimensiones de la imagen que estás utilizando. Las coordenadas son en píxeles, donde
(0, 0)es la esquina superior izquierda. -
Etiquetas de Punto:
--point_labelses generalmente un array que indica qué etiqueta asignar a cada punto. En muchos casos, puede ser simplemente1si solo estás seleccionando un objeto. -
Verifica las Rutas: Asegúrate de que todas las rutas para las imágenes y modelos sean correctas y que los archivos realmente existan en esas ubicaciones.
-
Tipo de Coordenadas: Si usas
coords_typecomoclick, necesitarás estar en un entorno que permita hacer clic en la imagen para capturar las coordenadas.
Si necesitas más ayuda con algún aspecto específico, házmelo saber. ¡Estoy aquí para ayudar!
-
- User
qt.qpa.xcb: could not connect to display qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in "/usr/local/lib/python3.11/dist-packages/cv2/qt/plugins" even though it was found. This application failed to start because no Qt platform plugin could be initialized. Reinstalling the application may fix this problem.
Available platform plugins are: xcb.
- Assistant
El error que estás viendo se debe a un problema con la interfaz gráfica de usuario (GUI) en un entorno que no tiene acceso a un sistema de ventanas, como Google Colab. Esto es común cuando se intenta utilizar bibliotecas que dependen de Qt para mostrar imágenes.
En Google Colab, en lugar de usar interacciones gráficas, debes usar un enfoque basado en texto. Aquí te muestro cómo puedes ajustar tu código para evitar errores relacionados con la GUI y usar solo el código por línea de comandos:
Solución Alternativa
-
No usar interacciones gráficas: Asegúrate de que tu línea de comandos no intente abrir ventanas de visualización.
-
Guardar la salida directamente: Una mejor forma de trabajar en Colab es asegurarte de que todas las imágenes se guarden en archivos y luego visualizarlas usando matplotlib en lugar de depender de Qt.
Paso a Paso
- Ejecuta el script sin GUI:
Asegúrate de definir adecuadamente los argumentos en tu línea de comandos para entrenar el modelo o hacer la inferencia. Por ejemplo, puedes asegurarte de que no se usa
clicken la opción--coords_type, y en su lugar usarkey_injunto con las coordenadas que deseas.!python remove_anything.py \ --input_img ./example/remove-anything/dog.jpg \ # Cambia esto a tu imagen --coords_type key_in \ # O simplemente usa coordenadas directamente --point_coords 200 450 \ # Coordenadas X e Y del punto a remover --point_labels 1 \ # Etiqueta del punto, generalmente 1 --dilate_kernel_size 15 \ # Tamaño del kernel de dilatación --output_dir ./results \ # Donde quieres que se guarde el resultado --sam_model_type "vit_h" \ # Modelo de Segment Anything --sam_ckpt ./pretrained_models/sam_vit_h_4b8939.pth \ # Ruta a tu modelo SAM --lama_config ./lama/configs/prediction/default.yaml \ # Configuración de LaMa --lama_ckpt ./pretrained_models/big-lama # Ruta a tu modelo LaMa- Visualizar el resultado:
Después de ejecutar el script, puedes usar
matplotlibpara visualizar la imagen resultante:import matplotlib.pyplot as plt import cv2 # Carga la imagen resultante result_img_path = './results/output_image.jpg' # Cambia esto al nombre correcto del archivo de salida result_img = cv2.imread(result_img_path) # Convierte de BGR a RGB result_img = cv2.cvtColor(result_img, cv2.COLOR_BGR2RGB) # Muestra la imagen plt.imshow(result_img) plt.axis('off') # Desactiva los ejes plt.show()Notas
- Evitar interacciones gráficas: Cuando trabajas en entornos sin GUI como Colab, es importante evitar cualquier función que intente abrir ventanas.
- Comprobación de dependencias: Si continúas experimentando problemas, verifica que todas las bibliotecas estén correctamente instaladas y que tu entorno no tenga problemas de compatibilidad.
Si sigues teniendo problemas o necesitas más ayuda, no dudes en preguntar. Estoy aquí para ayudar.
-