import numpy as np from PIL import Image import pygetwindow as gw import pyautogui from…
- User
import numpy as np from PIL import Image import pygetwindow as gw import pyautogui from flask import Flask, Response, render_template # Импортировать render_template import io
app = Flask(name)
Укажите имя окна, которое вы хотите захватить
FIXED_WINDOW_TITLE = "BlueStacks App Player" # Замените на имя вашего окна
def square_image(img): width, height = img.size if width != height: size = max(width, height) new_img = Image.new('RGB', (size, size), color=(0, 0, 0)) new_img.paste(img, ((size - width) // 2, (size - height) // 2)) return new_img else: return img
def capture_window(window_title): try: window = gw.getWindowsWithTitle(window_title)[0] except IndexError: return None
x, y, width, height = window.left, window.top, window.width, window.height screenshot = pyautogui.screenshot() window_image = screenshot.crop((x, y, x + width, y + height)) return window_imagedef combine_images(original, copy): original_width, original_height = original.size copy_width, copy_height = copy.size
combined_width = original_width + copy_width combined_height = max(original_height, copy_height) new_image = Image.new('RGB', (combined_width, combined_height), color=(0, 0, 0)) new_image.paste(original, (0, (combined_height - original_height) // 2)) new_image.paste(copy, (original_width - 100, (combined_height - copy_height) // 2)) return new_image@app.route('/') def index(): return render_template('index.html') # Убедитесь, что ваш HTML-код сохранён в templates/index.html
@app.route('/video_feed') def video_feed(): def generate(): while True: img = capture_window(FIXED_WINDOW_TITLE) if img is not None: img = square_image(img) img_copy = img.copy() combined_image = combine_images(img, img_copy) combined_image = combined_image.convert('RGB')
img_byte_arr = io.BytesIO() combined_image.save(img_byte_arr, format='JPEG') frame = img_byte_arr.getvalue() yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n') return Response(generate(), mimetype='multipart/x-mixed-replace; boundary=frame')if name == 'main': app.run(host='0.0.0.0', port=5000)
Как мне сделать чтобы вместо копированных изображений отображалось стереоизображение, вот пример кода который можно использовать import cv2 import torch import torchvision.transforms as tf from PIL import Image import numpy as np
Проверка наличия GPU и установка устройства
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
Загружаем модель MiDaS
midas = torch.hub.load("isl-org/MiDaS", "MiDaS").to(device) midas.eval()
Преобразования входного изображения
transform = tf.Compose([ tf.Resize((128, 128)), # Уменьшение размера для повышения скорости tf.ToTensor(), tf.Normalize(mean=[0.5], std=[0.5]), ])
Открываем видеопоток с камеры
cap = cv2.VideoCapture(0)
frame_count = 0
Параметры для стереоизображения
stereo_disparity = 10 # Параметр смещения для создания стереоэффекта
while True: ret, frame = cap.read() if not ret: break
frame_count += 1 if frame_count % 5 == 0: # Обработка каждого 5-го кадра # Преобразование цвета и преобразование в PIL frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) frame_pil = Image.fromarray(frame_rgb) # Преобразуем кадр input_tensor = transform(frame_pil).to(device) input_batch = input_tensor.unsqueeze(0) # Добавление размерности для батча # Генерируем карту глубины with torch.no_grad(): depth_map = midas(input_batch) # Преобразование карты глубины для отображения depth_map = depth_map.squeeze().cpu().numpy() depth_map = (depth_map - depth_map.min()) / (depth_map.max() - depth_map.min()) # Нормализация # Создание стереоизображений # Создаем смещение, нормализуем и преобразуем в 8-битное изображение depth_map_disp = (depth_map * stereo_disparity).astype(np.uint8) left_image = cv2.warpAffine(frame, np.float32([[1, 0, -stereo_disparity // 2], [0, 1, 0]]), (frame.shape[1], frame.shape[0])) right_image = cv2.warpAffine(frame, np.float32([[1, 0, stereo_disparity // 2], [0, 1, 0]]), (frame.shape[1], frame.shape[0])) # Отображение оригинального кадра, карты глубины и стереоизображений cv2.imshow("Frame", frame) cv2.imshow("Depth Map", (depth_map * 255).astype(np.uint8)) # Показываем глубину в 8-битах cv2.imshow("Left Image", left_image) cv2.imshow("Right Image", right_image) # Выход из цикла, если нажата клавиша 'q' if cv2.waitKey(1) & 0xFF == ord('q'): breakcap.release() cv2.destroyAllWindows()
- Assistant
Чтобы интегрировать функциональность стереоизображений в ваш текущий код, вам нужно будет изменить обработку кадра в функции
video_feed. Основная идея заключается в том, чтобы добавить обработку глубины и генерацию стереоизображений вместо создания копии оригинального изображения.Я приведу пример того, как это можно сделать, включая использование модели MiDaS для генерации карты глубины и создания стереоизображений.
Вот изменённая версия вашей функции
video_feed:@app.route('/video_feed') def video_feed(): # Проверка наличия GPU и установка устройства device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # Загружаем модель MiDaS midas = torch.hub.load("isl-org/MiDaS", "MiDaS").to(device) midas.eval() # Преобразования входного изображения transform = tf.Compose([ tf.Resize((128, 128)), # Уменьшение размера для повышения скорости tf.ToTensor(), tf.Normalize(mean=[0.5], std=[0.5]), ]) def generate(): while True: img = capture_window(FIXED_WINDOW_TITLE) if img is not None: img = square_image(img) # Преобразуем изображение для MiDaS img_pil = img.convert("RGB") # Убедитесь, что изображение в RGB input_tensor = transform(img_pil).to(device) input_batch = input_tensor.unsqueeze(0) # Добавление размерности для батча # Генерируем карту глубины with torch.no_grad(): depth_map = midas(input_batch) # Преобразование карты глубины для отображения depth_map = depth_map.squeeze().cpu().numpy() depth_map = (depth_map - depth_map.min()) / (depth_map.max() - depth_map.min()) # Нормализация # Создание стереоизображений stereo_disparity = 10 # Параметр смещения для создания стереоэффекта left_image = img.copy() right_image = img.copy() # Создание смещения, нормализуем и преобразуем в 8-битное изображение left_image = left_image.transform(left_image.size, Image.AFFINE, (1, 0, -stereo_disparity // 2, 0, 1, 0)) right_image = right_image.transform(right_image.size, Image.AFFINE, (1, 0, stereo_disparity // 2, 0, 1, 0)) # Совмещения изображений combined_image = combine_images(left_image, right_image) img_byte_arr = io.BytesIO() combined_image.save(img_byte_arr, format='JPEG') frame = img_byte_arr.getvalue() yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n') return Response(generate(), mimetype='multipart/x-mixed-replace; boundary=frame')Пояснение изменений:
- Интеграция MiDaS: В функции
generateмы загружаем модель MiDaS и используем её для получения глубины изображения. - Создание стереоизображений: Вместо того, чтобы просто копировать изображение, мы создаём две версии: одну с сдвигом влево и одну с сдвигом вправо. Используем метод
transformдля преобразования изображения смещения. - Совмещение изображений: Убедитесь, что ваша функция
combine_imagesможет правильно объединять два изображения.
Обратите внимание, что библиотеки
cv2и MiDaS должны быть установлены в вашем окружении для работы этого кода, и он может требовать адаптации в зависимости от ваших конкретных нужд и конфигурации. - Интеграция MiDaS: В функции
- User
напиши полный код
- Assistant
Конечно! Ниже представлен полный код вашего Flask приложения, включающий интеграцию стереоизображений через использование модели MiDaS для генерации карты глубины. Убедитесь, что у вас установлены необходимые библиотеки: Flask, Pillow, numpy, torchvision и torch.
import numpy as np from PIL import Image import pygetwindow as gw import pyautogui from flask import Flask, Response, render_template import io import torch import torchvision.transforms as tf app = Flask(__name__) # Укажите имя окна, которое вы хотите захватить FIXED_WINDOW_TITLE = "BlueStacks App Player" # Замените на имя вашего окна # Проверка наличия GPU и установка устройства device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # Загружаем модель MiDaS midas = torch.hub.load("isl-org/MiDaS", "MiDaS").to(device) midas.eval() # Преобразования входного изображения transform = tf.Compose([ tf.Resize((128, 128)), # Уменьшение размера для повышения скорости tf.ToTensor(), tf.Normalize(mean=[0.5], std=[0.5]), ]) def square_image(img): width, height = img.size if width != height: size = max(width, height) new_img = Image.new('RGB', (size, size), color=(0, 0, 0)) new_img.paste(img, ((size - width) // 2, (size - height) // 2)) return new_img else: return img def capture_window(window_title): try: window = gw.getWindowsWithTitle(window_title)[0] except IndexError: return None x, y, width, height = window.left, window.top, window.width, window.height screenshot = pyautogui.screenshot() window_image = screenshot.crop((x, y, x + width, y + height)) return window_image def combine_images(left, right): left_width, left_height = left.size right_width, right_height = right.size combined_width = left_width + right_width combined_height = max(left_height, right_height) new_image = Image.new('RGB', (combined_width, combined_height), color=(0, 0, 0)) new_image.paste(left, (0, (combined_height - left_height) // 2)) new_image.paste(right, (left_width, (combined_height - right_height) // 2)) return new_image @app.route('/') def index(): return render_template('index.html') # Убедитесь, что ваш HTML-код сохранён в templates/index.html @app.route('/video_feed') def video_feed(): def generate(): while True: img = capture_window(FIXED_WINDOW_TITLE) if img is not None: img = square_image(img) # Преобразуем изображение для MiDaS img_pil = img.convert("RGB") # Убедитесь, что изображение в RGB input_tensor = transform(img_pil).to(device) input_batch = input_tensor.unsqueeze(0) # Добавление размерности для батча # Генерируем карту глубины with torch.no_grad(): depth_map = midas(input_batch) # Преобразование карты глубины для отображения depth_map = depth_map.squeeze().cpu().numpy() depth_map = (depth_map - depth_map.min()) / (depth_map.max() - depth_map.min()) # Нормализация # Создание стереоизображений stereo_disparity = 10 # Параметр смещения для создания стереоэффекта left_image = img.copy() right_image = img.copy() # Создание смещения left_image = left_image.transform(left_image.size, Image.AFFINE, (1, 0, -stereo_disparity // 2, 0, 1, 0)) right_image = right_image.transform(right_image.size, Image.AFFINE, (1, 0, stereo_disparity // 2, 0, 1, 0)) # Совмещение изображений combined_image = combine_images(left_image, right_image) img_byte_arr = io.BytesIO() combined_image.save(img_byte_arr, format='JPEG') frame = img_byte_arr.getvalue() yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n') return Response(generate(), mimetype='multipart/x-mixed-replace; boundary=frame') if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)Установка необходимых библиотек
Перед запуском кода убедитесь, что все необходимые библиотеки установлены. Вы можете установить их с помощью pip:
pip install Flask Pillow numpy torch torchvision pygetwindow pyautoguiHTML-шаблон
Также вам нужно создать HTML-шаблон для отображения видеопотока. Создайте файл
index.htmlв папкеtemplatesс содержимым:<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Video Feed</title> </head> <body> <h1>Video Feed</h1> <img src="{{ url_for('video_feed') }}" style="width: 100%; border: 1px solid black;"> </body> </html>Запуск приложения
Теперь вы можете запустить ваше Flask приложение с помощью команды:
python app.pyЗамените
app.pyна имя вашего файла. После этого вы сможете перейти по адресуhttp://localhost:5000в вашем браузере, и вы должны увидеть видеопоток. Убедитесь, что окно, которое вы хотите захватить, открыто и активно на экране. - User
а где применение карты глудины для стерео?
- Assistant
В предыдущем коде вы правильно заметили, что я не использовал карту глубины для реального создания эффекта стереоизображения. Вместо этого я просто применял фиксированное смещение для изображения влево и вправо. Чтобы интегрировать карту глубины, мы можем больше использовать информацию о глубине для создания более адаптивного стереоэффекта.
Обновленный код
Ниже представлен обновленный код, который использует карту глубины для легкого настройки смещения для создания стереоизображений.
import numpy as np from PIL import Image import pygetwindow as gw import pyautogui from flask import Flask, Response, render_template import io import torch import torchvision.transforms as tf app = Flask(__name__) # Укажите имя окна, которое вы хотите захватить FIXED_WINDOW_TITLE = "BlueStacks App Player" # Замените на имя вашего окна # Проверка наличия GPU и установка устройства device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # Загружаем модель MiDaS midas = torch.hub.load("isl-org/MiDaS", "MiDaS").to(device) midas.eval() # Преобразования входного изображения transform = tf.Compose([ tf.Resize((128, 128)), # Уменьшение размера для повышения скорости tf.ToTensor(), tf.Normalize(mean=[0.5], std=[0.5]), ]) def square_image(img): width, height = img.size if width != height: size = max(width, height) new_img = Image.new('RGB', (size, size), color=(0, 0, 0)) new_img.paste(img, ((size - width) // 2, (size - height) // 2)) return new_img else: return img def capture_window(window_title): try: window = gw.getWindowsWithTitle(window_title)[0] except IndexError: return None x, y, width, height = window.left, window.top, window.width, window.height screenshot = pyautogui.screenshot() window_image = screenshot.crop((x, y, x + width, y + height)) return window_image def combine_images(left, right): left_width, left_height = left.size right_width, right_height = right.size combined_width = left_width + right_width combined_height = max(left_height, right_height) new_image = Image.new('RGB', (combined_width, combined_height), color=(0, 0, 0)) new_image.paste(left, (0, (combined_height - left_height) // 2)) new_image.paste(right, (left_width, (combined_height - right_height) // 2)) return new_image @app.route('/') def index(): return render_template('index.html') # Убедитесь, что ваш HTML-код сохранён в templates/index.html @app.route('/video_feed') def video_feed(): def generate(): while True: img = capture_window(FIXED_WINDOW_TITLE) if img is not None: img = square_image(img) # Преобразуем изображение для MiDaS img_pil = img.convert("RGB") # Убедитесь, что изображение в RGB input_tensor = transform(img_pil).to(device) input_batch = input_tensor.unsqueeze(0) # Добавление размерности для батча # Генерируем карту глубины with torch.no_grad(): depth_map = midas(input_batch) # Преобразование карты глубины для отображения depth_map = depth_map.squeeze().cpu().numpy() depth_map = (depth_map - depth_map.min()) / (depth_map.max() - depth_map.min()) # Нормализация # Создание стереоизображений с использованием карты глубины stereo_disparity = 50 # Максимальное смещение для стереоэффекта left_image = img.copy() right_image = img.copy() # Применение карты глубины для адаптации смещения depth_map_resized = Image.fromarray((depth_map * 255).astype(np.uint8)).resize(left_image.size) depth_array = np.array(depth_map_resized) # Получаем глубинный массив for y in range(left_image.size[1]): for x in range(left_image.size[0]): # Получаем значение глубины в данной позиции depth_value = depth_array[y, x] # Вычисляем смещение на основе значения глубины offset = int(stereo_disparity * (depth_value / 255.0)) # Создание смещенных изображений if x - offset >= 0: left_image.putpixel((x, y), img.getpixel((x - offset, y))) if x + offset < right_image.size[0]: right_image.putpixel((x, y), img.getpixel((x + offset, y))) # Совмещение изображений combined_image = combine_images(left_image, right_image) img_byte_arr = io.BytesIO() combined_image.save(img_byte_arr, format='JPEG') frame = img_byte_arr.getvalue() yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n') return Response(generate(), mimetype='multipart/x-mixed-replace; boundary=frame') if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)Основные изменения в коде
-
Адаптивное смещение на основе карты глубины:
- После получения карты глубины (depth map), я использую её для вычисления смещения для каждого пикселя.
- Каждое значение глубины из карты нормализуется, чтобы получить смещение для левого и правого изображения.
-
Построение стереоизображений:
- Вместо того чтобы просто применять фиксированное смещение для всех пикселей, теперь каждое смещение рассчитывается на основе значения глубины для соответствующего пикселя.
- Это создает более естественный стереоэффект, основанный на расстоянии объектов в сцене.
Обратите внимание:
- Этот подход может занять больше времени на обработку, потому что использует цикл for для каждого пикселя. В зависимости от размеров экранного изображения производительность может варьироваться.
- Карта глубины нормализуется и преобразуется в 8-битное изображение, что значительно упрощает вычисление смещения.
- Убедитесь, что вам действительно нужна такая сложная обработка; возможно, достаточно фиксированного смещения для ваших целей.
-
- User
что то это совсем медленно работает, можно ускорить?
- Assistant
Да, код действительно может быть медленным из-за цикла
for, который обрабатывает каждый пиксель по отдельности. Это может быть неэффективным для обработки изображений большого размера. Чтобы ускорить выполнение, можно использовать векторизированные операции с использованием NumPy, которые значительно быстрее, чем обход пикселей по отдельности.Вот обновленная версия вашего кода, которая использует NumPy для векторизации работы с пикселями:
import numpy as np from PIL import Image import pygetwindow as gw import pyautogui from flask import Flask, Response, render_template import io import torch import torchvision.transforms as tf app = Flask(__name__) # Укажите имя окна, которое вы хотите захватить FIXED_WINDOW_TITLE = "BlueStacks App Player" # Замените на имя вашего окна # Проверка наличия GPU и установка устройства device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # Загружаем модель MiDaS midas = torch.hub.load("isl-org/MiDaS", "MiDaS").to(device) midas.eval() # Преобразования входного изображения transform = tf.Compose([ tf.Resize((128, 128)), # Уменьшение размера для повышения скорости tf.ToTensor(), tf.Normalize(mean=[0.5], std=[0.5]), ]) def square_image(img): width, height = img.size if width != height: size = max(width, height) new_img = Image.new('RGB', (size, size), color=(0, 0, 0)) new_img.paste(img, ((size - width) // 2, (size - height) // 2)) return new_img else: return img def capture_window(window_title): try: window = gw.getWindowsWithTitle(window_title)[0] except IndexError: return None x, y, width, height = window.left, window.top, window.width, window.height screenshot = pyautogui.screenshot() window_image = screenshot.crop((x, y, x + width, y + height)) return window_image def combine_images(left, right): combined_width = left.width + right.width combined_height = max(left.height, right.height) new_image = Image.new('RGB', (combined_width, combined_height), color=(0, 0, 0)) new_image.paste(left, (0, (combined_height - left.height) // 2)) new_image.paste(right, (left.width, (combined_height - right.height) // 2)) return new_image @app.route('/') def index(): return render_template('index.html') # Убедитесь, что ваш HTML-код сохранён в templates/index.html @app.route('/video_feed') def video_feed(): def generate(): while True: img = capture_window(FIXED_WINDOW_TITLE) if img is not None: img = square_image(img) img_np = np.array(img) # Преобразуем изображение в массив NumPy # Преобразуем изображение для MiDaS img_pil = img.convert("RGB") # Убедитесь, что изображение в RGB input_tensor = transform(img_pil).to(device) input_batch = input_tensor.unsqueeze(0) # Добавление размерности для батча # Генерируем карту глубины with torch.no_grad(): depth_map = midas(input_batch) # Преобразование карты глубины для отображения depth_map = depth_map.squeeze().cpu().numpy() depth_map = (depth_map - depth_map.min()) / (depth_map.max() - depth_map.min()) # Нормализация # Создание стереоизображений с использованием карты глубины stereo_disparity = 50 # Максимальное смещение для стереоэффекта left_image = img_np.copy() right_image = img_np.copy() # Увеличиваем размер depth_map до размера изображения depth_map_resized = np.resize(depth_map, img_np.shape[:2]) # Получаем глубинный массив depth_map_scaled = (depth_map_resized * stereo_disparity).astype(np.int32) # Создаем маски смещения left_offset = np.clip(np.arange(left_image.shape[1]) - depth_map_scaled // 2, 0, left_image.shape[1] - 1) right_offset = np.clip(np.arange(right_image.shape[1]) + depth_map_scaled // 2, 0, right_image.shape[1] - 1) left_image_stereo = left_image.copy() right_image_stereo = right_image.copy() # Заполнение левого и правого изображений с учетом смещения left_image_stereo[:, :] = img_np[:, left_offset] right_image_stereo[:, :] = img_np[:, right_offset] # Преобразование обратно в PIL изображения left_image_pil = Image.fromarray(left_image_stereo) right_image_pil = Image.fromarray(right_image_stereo) # Совмещение изображений combined_image = combine_images(left_image_pil, right_image_pil) img_byte_arr = io.BytesIO() combined_image.save(img_byte_arr, format='JPEG') frame = img_byte_arr.getvalue() yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n') return Response(generate(), mimetype='multipart/x-mixed-replace; boundary=frame') if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)Основные изменения для повышения производительности
-
Использование NumPy:
- Преобразование изображения в массив NumPy позволяет осуществлять манипуляции над всеми пикселями сразу, а не по одному, что значительно ускоряет процесс.
-
Векторизация смещения:
- Для создания левого и правого изображения с учетом смещения используются массивы NumPy для быстрого выполнения операций.
-
Замена циклов на векторные операции:
- Вместо циклов для обработки каждого пикселя используются операции с массивами, что делает код более эффективным и значительно сокращает время обработки изображений.
Убедитесь, что:
- Вы указываете правильное название окна в
FIXED_WINDOW_TITLE. - Находитесь в окружении, где установлены все необходимые библиотеки (Flask, Pillow, NumPy, PyTorch, etc.).
Попробуйте запустить обновленный код и посмотрите, удалось ли вам ускорить процесс обработки стереоизображений!
-