Есть вот такой dockerfile Build image ### ARG _DOCKERIMAGE=undefined FROM…
- User
Есть вот такой dockerfile
Build image
ARG __DOCKER_IMAGE=undefined FROM ${__DOCKER_IMAGE}
ARG GIT_COMMIT=undefined ARG BUILD_TIMESTAMP=undefined LABEL GIT_COMMIT={BUILD_TIMESTAMP}
ARG PIP_INDEX_URL ARG PIP_TRUSTED_HOST ENV PIP_INDEX_URL={PIP_TRUSTED_HOST}
ENV POETRY_VIRTUALENVS_CREATE=false ENV POETRY_VERSION=2.1.1 ENV POETRY_HOME="/opt/poetry" ENV VENV_PATH=$POETRY_HOME
ENV PATH="PATH" ENV PYTHONPATH="/usr/lib64/python3.9/site-packages:/opt/poetry/lib/python3.9/site-packages:/app"
USER root RUN microdnf -y install python39 zip gcc-c++ gcc python39-devel openldap-devel findutils&& microdnf -y update && microdnf clean all
install poetry
RUN python3 -m venv VENV_PATH && \ VENV_PATH/bin/pip install -U pip setuptools &&
$VENV_PATH/bin/pip install poetryWORKDIR /app RUN chmod -R a+rw /app
Install requirements for python3.9
COPY README.md pyproject.toml poetry.lock* / RUN poetry -v config virtualenvs.create false &&
poetry config certificates.nexus.cert false &&
poetry -v source add --priority=primary nexus ${PIP_INDEX_URL} &&
poetry -v lock &&
poetry -v install --no-interaction --no-ansi --only main
&& poetry show --treeENV PYTHONPATH="${PYTHONPATH}:/app"
Copy need files to container
COPY app.py /app COPY wsgi.py /app COPY celeryconfig.py /app
#ENV PYTHONPATH="/opt/poetry/lib/python3.9/site-packages:/app" ENV PYTHONPATH="/usr/lib64/python3.9/site-packages:/opt/poetry/lib/python3.9/site-packages:/app"
RUN microdnf -y remove gcc-c++ gcc && microdnf clean all
USER 1001 RUN chmod -R a+r /opt/poetry
Run image
EXPOSE 8080 #CMD ["tail", "-f", "/dev/null"] CMD ["python", "wsgi.py"]
Возникает такая ошибка
Traceback (most recent call last): File "/app/wsgi.py", line 3, in from app import app File "/app/app.py", line 9, in import ldap File "/usr/lib64/python3.9/site-packages/ldap/init.py", line 100, in from ldap.functions import initialize,get_option,set_option,escape_str,strf_secs,strp_secs File "/usr/lib64/python3.9/site-packages/ldap/functions.py", line 24, in from ldap.ldapobject import LDAPObject File "/usr/lib64/python3.9/site-packages/ldap/ldapobject.py", line 26, in from ldap.controls import LDAPControl,DecodeControlTuples,RequestControlTuples File "/usr/lib64/python3.9/site-packages/ldap/controls/init.py", line 19, in from pyasn1.error import PyAsn1Error ModuleNotFoundError: No module named 'pyasn1'
Хотя команда poetry show --tree показывает, что библиотека установилась Как исправить?
Assistant
Здравствуйте!
Отличный вопрос. Вы столкнулись с классической проблемой конфликта окружений и путей поиска модулей в Python внутри Docker.
Ошибка
ModuleNotFoundError: No module named 'pyasn1'возникает несмотря на то, чтоpoetry show --treeпоказывает её наличие. Давайте разберемся, почему так происходит и как это исправить.Анализ проблемы
-
Два разных
site-packages: В вашем Dockerfile вы используете два места для установки Python-пакетов:- Системный:
/usr/lib64/python3.9/site-packages. Пакеты сюда могут попадать черезmicrodnfили системныйpip. В вашем случае, судя по трейсбеку, именно здесь находится библиотекаldap. - Poetry:
/opt/poetry/lib/python3.9/site-packages. Так как вы установилиPOETRY_VIRTUALENVS_CREATE=false, Poetry ставит все зависимости (включаяpyasn1) в окружение самого Python, который использует Poetry.
- Системный:
-
Как Python ищет модули: Когда вы делаете
import ldap, Python ищет этот модуль в путях, указанных вsys.path(который формируется из стандартных путей и переменнойPYTHONPATH). -
Что происходит на самом деле:
- Ваш
CMD ["python", "wsgi.py"]запускает системный Python. - При
import ldap, Python находит этот модуль в системном пути/usr/lib64/python3.9/site-packages/ldap. - Далее именно этот модуль
ldapпытается импортировать свою зависимость:from pyasn1.error import PyAsn1Error. - И он ищет
pyasn1в первую очередь в своем же окружении (/usr/lib64/python3.9/site-packages), но его там нет. Он не знает, что нужная ему зависимость лежит в другом каталоге (/opt/poetry/...).
- Ваш
Ошибка в том, что вы смешиваете пакет, установленный в систему (
ldap), с его зависимостями, установленными через Poetry в другое место (pyasn1).Решение: Позвольте Poetry управлять всеми зависимостями
Самый чистый и правильный способ — не полагаться на системные пакеты Python для вашего приложения. Пусть Poetry управляет всеми зависимостями, включая
python-ldap.Для этого нужно немного изменить Dockerfile, чтобы он следовал лучшим практикам.
Ключевые исправления:
- Не устанавливать
python-ldapчерезmicrodnf. Вместо этого добавьтеpython-ldapв вашpyproject.toml. Poetry сам его скачает и установит. - Сохранить системные зависимости для сборки. Для компиляции
python-ldapвсе еще нужныopenldap-develиgcc-c++. Мы оставим их установку, но удалим в конце, как вы и делаете. - Исправить
COPY. Вы копируете файлы проекта в корень (/), аWORKDIRу вас/app. Это может привести к тому, что Poetry не найдетpyproject.toml. Нужно копировать файлы в/app. - Упростить
PYTHONPATH. Он должен указывать только на пакеты Poetry и код вашего приложения. Не нужно включать системныйsite-packages.
Исправленный Dockerfile
Вот как должен выглядеть исправленный и более надежный Dockerfile:
### Build image ### ARG __DOCKER_IMAGE=ubi8/python-39 FROM ${__DOCKER_IMAGE} ARG GIT_COMMIT=undefined ARG BUILD_TIMESTAMP=undefined LABEL GIT_COMMIT=${GIT_COMMIT} LABEL BUILD_TIMESTAMP=${BUILD_TIMESTAMP} ARG PIP_INDEX_URL ARG PIP_TRUSTED_HOST ENV PIP_INDEX_URL=${PIP_INDEX_URL} ENV PIP_TRUSTED_HOST=${PIP_TRUSTED_HOST} # --- Poetry-related ENVs --- ENV POETRY_VERSION=1.8.2 # Рекомендуется использовать более свежую версию Poetry ENV POETRY_HOME="/opt/poetry" # Отключаем создание виртуальных окружений, чтобы пакеты ставились в основное окружение ENV POETRY_VIRTUALENVS_CREATE=false # Добавляем Poetry в PATH ENV PATH="$POETRY_HOME/bin:$PATH" # --- Python Path --- # Упрощаем PYTHONPATH: только пакеты Poetry и наше приложение ENV PYTHONPATH="/app" USER root # --- Установка системных зависимостей --- # Устанавливаем только то, что нужно для СБОРКИ и РАБОТЫ # gcc-c++ и python39-devel нужны только для сборки python-ldap, потом их удалим RUN microdnf -y install python39 zip gcc-c++ gcc python39-devel openldap-devel findutils && \ microdnf -y update && \ microdnf clean all # --- Установка Poetry --- # Устанавливаем Poetry в своё изолированное окружение RUN python3 -m venv $POETRY_HOME && \ $POETRY_HOME/bin/pip install -U pip setuptools && \ $POETRY_HOME/bin/pip install poetry==${POETRY_VERSION} # --- Установка зависимостей приложения --- WORKDIR /app # СНАЧАЛА копируем только файлы зависимостей для кэширования этого слоя # ИСПРАВЛЕНО: Копируем файлы в /app, а не в / COPY pyproject.toml poetry.lock* /app/ # Устанавливаем зависимости с помощью Poetry # Poetry сам найдет и установит python-ldap и его зависимости (включая pyasn1) RUN poetry config virtualenvs.create false && \ poetry install --no-interaction --no-ansi --no-root --only main # --- Копирование кода приложения --- # Копируем остальной код приложения. Если изменятся только эти файлы, # Docker не будет переустанавливать все зависимости заново. COPY app.py /app/ COPY wsgi.py /app/ COPY celeryconfig.py /app/ # --- Очистка --- # Удаляем ненужные для работы пакеты, чтобы уменьшить размер образа RUN microdnf -y remove gcc-c++ gcc python39-devel && microdnf clean all # --- Запуск --- USER 1001 # Не нужно трогать права на /opt/poetry, т.к. пакеты уже лежат в системном пути Python # который доступен для чтения всем пользователям. EXPOSE 8080 CMD ["python", "wsgi.py"]Что нужно сделать вам:
-
Убедитесь, что
python-ldapесть вpyproject.toml. Если его там нет, добавьте командой:poetry add python-ldapПосле этого в вашем
pyproject.tomlпоявится соответствующая строка в секции[tool.poetry.dependencies]. -
Используйте исправленный Dockerfile выше для сборки вашего образа.
Этот подход решает проблему коренным образом: у вас будет один источник для всех Python-пакетов (Poetry), и приложение будет работать в чистом и предсказуемом окружении, не конфликтуя с системными библиотеками.
-
- User
у меня и так python-ldap есть в pyproject.toml
Assistant
Отлично, это важное уточнение! Если
python-ldapуже есть вpyproject.toml, то моя первая гипотеза была не до конца верна. Проблема не в том, что вы не управляете зависимостью через Poetry, а в том, что у вас возникает конфликт версий/окружений.Давайте еще раз посмотрим на трейсбек и Dockerfile.
Новый анализ проблемы
-
Трейсбек — это ключ:
File "/usr/lib64/python3.9/site-packages/ldap/__init__.py", line 100, in <module>Эта строка — самая важная. Она говорит, что Python во время выполнения вашего приложения загружает модуль
ldapиз системного пути/usr/lib64/python3.9/site-packages. -
Где Poetry ставит пакеты? С настройкой
POETRY_VIRTUALENVS_CREATE=false, Poetry устанавливает пакеты вsite-packagesтого интерпретатора Python, который он использует. На базовом образе UBI8 (ubi8/python-39) это, скорее всего,/usr/lib/python3.9/site-packages. -
Конфликт в
PYTHONPATH: Вот ваша переменная окружения:ENV PYTHONPATH="/usr/lib64/python3.9/site-packages:/opt/poetry/lib/python3.9/site-packages:/app"Когда ваш код выполняет
import ldap, Python просматривает пути изsys.path(который включаетPYTHONPATH) по порядку.- Он сначала смотрит в
/usr/lib64/python3.9/site-packages. - Он находит там некую версию
ldap(вероятно, установленную черезmicrodnfили предустановленную в базовом образе). - Он загружает именно этот модуль.
- Затем этот системный модуль
ldapпытается импортировать свою зависимостьpyasn1. Ноpyasn1(который был установлен через Poetry) лежит в другом месте, и системныйldapо нем не знает. Отсюда иModuleNotFoundError.
- Он сначала смотрит в
Вывод: Ваше приложение использует системный
ldap, но его зависимости установлены Poetry в другом месте.Решение
Нужно заставить Python использовать версию
ldap(и все ее зависимости), установленную Poetry.Вариант 1: Простой и быстрый (исправить
PYTHONPATH)Самая вероятная проблема — это явное указание системного пути в начале
PYTHONPATH. Python и так знает про свои системныеsite-packages, ему не нужно помогать. Указав его явно в начале, вы ломаете порядок поиска.Попробуйте упростить
PYTHONPATH. Пакеты, установленные Poetry (сvirtualenvs.create=false), попадут в стандартныйsite-packages, который Python найдет сам. Вам нужно добавить только путь к вашему приложению.Исправление в Dockerfile:
Замените все определения
PYTHONPATHна одно, простое:# Уберите все предыдущие ENV PYTHONPATH # ... # Устанавливаем зависимости RUN poetry install --no-interaction --no-ansi --only main # ... # Копируем файлы COPY app.py wsgi.py celeryconfig.py /app/ # Оставляем только ОДНО правильное определение PYTHONPATH ENV PYTHONPATH="/app" # ... остальная часть файла ...Python автоматически найдет
site-packagesс пакетами Poetry, а/appпозволит ему найти вашapp.py.Вариант 2: Самый надежный и чистый (Multi-stage build)
Этот подход решает проблему кардинально и является лучшей практикой для создания Docker-образов. Он разделяет сборку и конечное приложение, что делает образ меньше и безопаснее.
- Builder Stage: Здесь мы устанавливаем все для сборки (
gcc,devel-пакеты), ставим Poetry и все Python-зависимости. - Final Stage: Мы берем чистый базовый образ, ставим только те системные библиотеки, что нужны для работы (
openldap-libs), и копируем готовые Python-пакеты и код приложения из "builder stage".
Это гарантирует, что в конечном образе нет никаких сборочных инструментов и нет конфликтующих версий пакетов.
Вот как будет выглядеть ваш Dockerfile:
# ================================================================= # 1. Builder Stage: Собираем зависимости # ================================================================= ARG __DOCKER_IMAGE=ubi8/python-39 FROM ${__DOCKER_IMAGE} AS builder ARG PIP_INDEX_URL ARG PIP_TRUSTED_HOST ENV PIP_INDEX_URL=${PIP_INDEX_URL} ENV PIP_TRUSTED_HOST=${PIP_TRUSTED_HOST} # --- Устанавливаем системные зависимости ДЛЯ СБОРКИ --- USER root RUN microdnf -y install python39-devel gcc-c++ openldap-devel && \ microdnf clean all # --- Устанавливаем Poetry --- ENV POETRY_VERSION=1.8.2 ENV POETRY_HOME="/opt/poetry" ENV POETRY_VIRTUALENVS_CREATE=false ENV PATH="$POETRY_HOME/bin:$PATH" RUN python3 -m venv $POETRY_HOME && \ $POETRY_HOME/bin/pip install poetry==${POETRY_VERSION} # --- Устанавливаем Python зависимости --- WORKDIR /app COPY pyproject.toml poetry.lock* ./ RUN poetry install --no-interaction --no-ansi --no-root --only main # ================================================================= # 2. Final Stage: Создаем чистый образ для запуска # ================================================================= FROM ${__DOCKER_IMAGE} ARG GIT_COMMIT=undefined ARG BUILD_TIMESTAMP=undefined LABEL GIT_COMMIT=${GIT_COMMIT} LABEL BUILD_TIMESTAMP=${BUILD_TIMESTAMP} # --- Устанавливаем системные зависимости ДЛЯ РАБОТЫ --- USER root # openldap-devel и gcc не нужны, только библиотека для работы RUN microdnf -y install openldap && microdnf clean all # --- Копируем установленные пакеты из builder stage --- # Python на ubi8/python-39 ищет пакеты здесь COPY --from=builder /usr/lib/python3.9/site-packages /usr/lib/python3.9/site-packages # --- Настраиваем окружение и копируем код --- WORKDIR /app # PYTHONPATH нужен только для /app, остальное Python найдет сам ENV PYTHONPATH="/app" COPY app.py wsgi.py celeryconfig.py ./ USER 1001 EXPOSE 8080 CMD ["python", "wsgi.py"]Что делать сейчас:
-
Попробуйте Вариант 1. Это самое простое изменение. Замените все
ENV PYTHONPATHв вашем файле на одну строкуENV PYTHONPATH="/app"после установки зависимостей и копирования кода. Пересоберите образ и проверьте. Это с вероятностью 99% решит вашу проблему. -
Если не помогло, или если вы хотите сделать ваш Dockerfile более профессиональным, используйте Вариант 2. Он решает проблему более надежно и оптимизирует размер конечного образа.
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.