다음 코드가 찾아낸 컨투어 영역들의 유사도를 모두 비교하여 다르게 생긴 이미지 하나를 찾아 녹색으로 표시하려고 합니다. 우리가 비교할 이미지는 밝은색 배경에…
- User
다음 코드가 찾아낸 컨투어 영역들의 유사도를 모두 비교하여 다르게 생긴 이미지 하나를 찾아 녹색으로 표시하려고 합니다. 우리가 비교할 이미지는 밝은색 배경에 어두운 색으로 적혀있는 한글 텍스트입니다. 매우 비슷한 글자의 차이를 감지해야 합니다. (예, '대한민국' vs '대한민극') 어떤 알고리즘을 사용하여 유사도를 비교해야 다른 글자가 적힌 이미지 하나를 찾아낼 수 있을지 여러 후보를 제시해본 뒤, 그 중 가장 적절한 알고리즘을 하나 결정하여 적용해주세요. 현재 빨간색 박스로 출력한 영역을 각각 하나의 이미지로 보고 비교해야 합니다.
import cv2 import numpy as np def extract_word_clusters(image_path, min_area=2000): # 이미지 로드 img = cv2.imread(image_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 이진화 (검은색 글자를 흰색 배경에서 인식) _, binary = cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY_INV) # 팽창(Dilation)으로 글자들을 연결하여 하나의 덩어리로 만들기 kernel = np.ones((10, 10), np.uint8) dilated = cv2.dilate(binary, kernel, iterations=2) # 컨투어 찾기 contours, _ = cv2.findContours(dilated, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 원본 이미지에서 글자 컨투어만 그리기 contour_img = img.copy() filtered_contours = [] for contour in contours: area = cv2.contourArea(contour) if area > min_area: # 면적 기준 필터링 x, y, w, h = cv2.boundingRect(contour) # 배경 색상 기준 확인 (흰색 배경) mask = np.zeros(gray.shape, dtype=np.uint8) cv2.drawContours(mask, [contour], -1, 255, -1) # 컨투어 영역을 흰색으로 mean_val = cv2.mean(gray, mask=mask)[0] # 평균 색상 계산 # 평균 색상이 흰색에 가까운지 확인 if mean_val > 210: # 흰색 배경의 기준 # 컨투어 내부만 크롭하여 다시 이진화 cropped_gray = gray[y:y+h, x:x+w] _, cropped_binary = cv2.threshold(cropped_gray, 200, 255, cv2.THRESH_BINARY_INV) # 내부 컨투어 찾기 internal_contours, _ = cv2.findContours(cropped_binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 내부 컨투어들을 하나의 사각형으로 합치기 if internal_contours: all_points = np.vstack(internal_contours) # 모든 점들을 합침 ix, iy, iw, ih = cv2.boundingRect(all_points) cv2.rectangle(contour_img, (x + ix, y + iy), (x + ix + iw, y + iy + ih), (0, 0, 255), 2) # 빨간 박스 filtered_contours.append((x, y, w, h, None)) return filtered_contours, contour_img if __name__ == "__main__": image_path = 'path_to_image.png' # 이미지 경로 설정 letters, contour_img = extract_word_clusters(image_path) cv2.imshow('Highlighted Different Letter', contour_img) cv2.waitKey(0) # 키 입력 대기 cv2.destroyAllWindows() - Assistant
이미지에서 한글 텍스트의 매우 미세한 차이를 탐지하려면, 몇 가지 알고리즘을 고려해 볼 수 있습니다. 각 알고리즘은 다른 종류의 비교를 수행하므로, 가장 적합한 방법을 선택하기 위해 여러 후보를 제시하겠습니다.
-
구조화된 유사도 측정 (SSIM - Structural Similarity Index Measure):
- SSIM은 두 이미지가 얼마나 유사한지를 측정하는 데 사용되는 지표로, 밝기, 대비 및 구조적 정보를 활용합니다.
- 텍스트 간의 구조적 차이를 감지하는 데 유용할 수 있습니다.
-
템플릿 매칭:
- OpenCV의
cv2.matchTemplate를 사용하여 각 컨투어 이미지를 서로 비교합니다. - 템플릿 매칭은 지역적인 차이를 감지하는 데 유용할 수 있습니다.
- OpenCV의
-
OCR 기반 비교:
- 텍스트를 OCR(Optical Character Recognition)을 통해 문자열로 추출하고, 문자열 간의 차이를 Levenshtein Distance 등을 사용하여 비교합니다.
- 문자 레벨의 차이를 정확하게 감지할 수 있습니다.
-
컨투어 매칭 (Shape Context 또는 Hu Moments):
- 컨투어의 불변 모멘트를 계산하여 형태학적 유사성을 비교합니다.
- 휴 모멘트(Hu Moments)는 회전, 크기, 위치에 불변합니다.
위 후보들 중에서 한글 텍스트의 미세한 차이를 감지하기 위해서는 OCR 기반 비교를 사용하는 것이 가장 효과적일 수 있습니다. 이유는 컨투어나 구조적 유사도보다 실제 문자로 인식된 결과를 기반으로 차이를 탐지하므로 인식 정확도가 높을 수 있기 때문입니다. 다음은 OCR 기반 방법을 적용한 예제입니다:
import cv2 import pytesseract import numpy as np from difflib import SequenceMatcher def extract_word_clusters_and_compare(image_path, min_area=2000): # 이미지 로드 img = cv2.imread(image_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 이진화 (검은색 글자를 흰색 배경에서 인식) _, binary = cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY_INV) # 팽창(Dilation)으로 글자들을 연결하여 하나의 덩어리로 만들기 kernel = np.ones((10, 10), np.uint8) dilated = cv2.dilate(binary, kernel, iterations=2) # 컨투어 찾기 contours, _ = cv2.findContours(dilated, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 원본 이미지에서 글자 컨투어만 그리기 contour_img = img.copy() texts = [] # 인식된 텍스트를 저장할 리스트 bounding_boxes = [] for contour in contours: area = cv2.contourArea(contour) if area > min_area: # 면적 기준 필터링 x, y, w, h = cv2.boundingRect(contour) cropped_gray = gray[y:y+h, x:x+w] # pytesseract를 사용하여 텍스트 인식 config = '--psm 8' # 한 줄 단위로 인식 text = pytesseract.image_to_string(cropped_gray, lang='kor', config=config).strip() if text: # 텍스트가 인식되었을 경우 texts.append(text) bounding_boxes.append((x, y, w, h)) # 가장 유사도가 낮은 텍스트 찾기 base_text = texts[0] scores = [SequenceMatcher(None, base_text, text).ratio() for text in texts] # 최소 유사도 텍스트의 인덱스 찾기 different_index = scores.index(min(scores)) x, y, w, h = bounding_boxes[different_index] cv2.rectangle(contour_img, (x, y), (x + w, y + h), (0, 255, 0), 2) # 녹색 박스 return contour_img if __name__ == "__main__": image_path = 'path_to_image.png' # 이미지 경로 설정 result_img = extract_word_clusters_and_compare(image_path) cv2.imshow('Different Letter Highlighted', result_img) cv2.waitKey(0) # 키 입력 대기 cv2.destroyAllWindows()위의 코드는 이미지를 OCR을 통해 읽고 인식된 텍스트를 문자열로 비교하여 가장 차이가 나는 텍스트를 가진 영역에 녹색 박스를 그리는 예제입니다. 이 방법은 텍스트의 청각적인 유사도를 감지하는 데 용이합니다.ielle에 중점을 둡니다.
-
- User
이미지 분석은 1초 이내에 이루어져야 하므로, OCR을 이용한 방식은 성능상 무리가 있을 것 같습니다. 다른 대안을 제시해주세요.
- Assistant
OCR 기반의 접근 방식이 성능 요구 사항을 충족하지 못한다면, 더 가벼운 이미지 기반 비교 알고리즘을 고려해 볼 수 있습니다. 여기서는 이미지를 직접 비교할 수 있는 방법들 중에서 구조를 비교하는 알고리즘을 제안합니다.
Hu Moments를 이용한 컨투어 비교
Hu Moments는 이미지를 회전, 크기, 위치 변화에도 불구하고 불변(more or less invariant)인 형상 디스크립터를 생성합니다. 이를 이용해 두 이미지 간의 유사도를 비교할 수 있습니다. 이는 이미지의 모양을 비교하기 때문에 성능이 경량화된 환경에서 효과적일 수 있습니다.
코드 구현
import cv2 import numpy as np def calculate_hu_moments(image): moments = cv2.moments(image) hu_moments = cv2.HuMoments(moments).flatten() return hu_moments def extract_word_clusters_and_compare(image_path, min_area=2000): # 이미지 로드 img = cv2.imread(image_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 이진화 _, binary = cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY_INV) # 팽창(Dilation) 적용 kernel = np.ones((10, 10), np.uint8) dilated = cv2.dilate(binary, kernel, iterations=2) # 컨투어 찾기 contours, _ = cv2.findContours(dilated, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 원본 이미지에서 글자 컨투어만 그리기 contour_img = img.copy() hu_moments_list = [] bounding_boxes = [] for contour in contours: area = cv2.contourArea(contour) if area > min_area: x, y, w, h = cv2.boundingRect(contour) cropped_binary = binary[y:y+h, x:x+w] # Hu moments 계산 hu_moments = calculate_hu_moments(cropped_binary) hu_moments_list.append(hu_moments) bounding_boxes.append((x, y, w, h)) # 첫 번째 컨투어를 기준으로 가장 다른 컨투어 찾기 base_hu_moments = hu_moments_list[0] min_distance = float('inf') different_index = 0 for i, hm in enumerate(hu_moments_list): distance = np.sum((base_hu_moments - hm) ** 2) # 유클리드 거리 계산 if distance < min_distance and i != 0: # 자신과의 비교 제외 min_distance = distance different_index = i # 가장 다른 컨투어에 녹색 박스 그리기 x, y, w, h = bounding_boxes[different_index] cv2.rectangle(contour_img, (x, y), (x + w, y + h), (0, 255, 0), 2) # 녹색 박스 return contour_img if __name__ == "__main__": image_path = 'path_to_image.png' # 이미지 경로 설정 result_img = extract_word_clusters_and_compare(image_path) cv2.imshow('Different Letter Highlighted', result_img) cv2.waitKey(0) # 키 입력 대기 cv2.destroyAllWindows()설명:
- Hu Moments: 이미지 패치를 불변 특징 벡터로 변환하여 비교합니다. 각 컨투어의 이진화된 이미지를 기반으로 Hu Moments를 계산합니다.
- 유사도 측정: 각 Hu Moments 벡터 간의 유클리드 거리를 계산하여 기준 이미지와 가장 유사하지 않은 이미지를 찾습니다.
- 이 방법은 컨투어의 기본 형태를 비교하므로 OCR에 비해 훨씬 더 빠르게 동작할 수 있습니다. 다만 텍스트의 구조적 변형에는 민감할 수 있습니다.