// ==UserScript== // @name 종합 웹 크롤러 7.4 // @namespace http://tampermonkey.net/ //…
- User
// ==UserScript== // @name 종합 웹 크롤러 7.4 // @namespace http://tampermonkey.net/ // @version 7.4 // @description 고급 기능을 갖춘 웹 크롤러로 검색 결과를 실시간으로 수집하고 표시 (무제한 페이지 지원 및 기능 개선) // @author YourName // @match ://www.google.com/search // @match ://www.bing.com/search // @match ://search.daum.net/search // @match ://search.naver.com/search // @match ://search.yahoo.com/search // @grant GM_xmlhttpRequest // @grant GM_addStyle // @grant GM_setValue // @grant GM_getValue // @grant GM_notification // @connect * // @require https://cdnjs.cloudflare.com/ajax/libs/xlsx/0.18.5/xlsx.full.min.js // @require https://cdn.jsdelivr.net/npm/chart.js // @require https://cdnjs.cloudflare.com/ajax/libs/Sortable/1.14.0/Sortable.min.js // ==/UserScript==
(function() { 'use strict';
// CSS 스타일 추가 (크롤러 창 크기 축소 및 UI 개선) GM_addStyle(` /* 기본 컨테이너 스타일 */ #crawler-container { position: fixed; top: 10px; right: 10px; background-color: #fff; border: 1px solid #4CAF50; padding: 15px; z-index: 10000; width: 400px; max-height: 80vh; overflow: auto; box-shadow: 0 4px 20px rgba(0,0,0,0.3); border-radius: 8px; font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif; font-size: 13px; display: flex; flex-direction: column; transition: all 0.3s ease; } /* 헤더 스타일 */ #crawler-container header { display: flex; justify-content: space-between; align-items: center; background-color: #4CAF50; color: #fff; padding: 8px 12px; border-radius: 6px 6px 0 0; cursor: move; } #crawler-container header .title { font-size: 18px; font-weight: bold; } #crawler-container header .close-btn { font-size: 20px; cursor: pointer; transition: color 0.3s; } #crawler-container header .close-btn:hover { color: #ff4d4d; } /* 탭 스타일 */ #crawler-container .tabs { display: flex; border-bottom: 1px solid #4CAF50; margin-top: 10px; } #crawler-container .tab { flex: 1; padding: 8px; text-align: center; cursor: pointer; background-color: #f1f1f1; transition: background-color 0.3s, color 0.3s; border-radius: 4px 4px 0 0; margin-right: 1px; } #crawler-container .tab:last-child { margin-right: 0; } #crawler-container .tab.active { background-color: #4CAF50; color: #fff; font-weight: bold; } /* 탭 콘텐츠 스타일 */ #crawler-container .tab-content { display: none; padding: 10px; flex-grow: 1; } #crawler-container .tab-content.active { display: block; } /* 버튼 스타일 */ #crawler-container button { padding: 6px 10px; margin: 4px 2px; border: none; border-radius: 4px; background-color: #4CAF50; color: #fff; cursor: pointer; transition: background-color 0.3s; font-size: 12px; } #crawler-container button:hover { background-color: #45a049; } /* 기타 섹션 스타일 */ #crawler-container .options, #crawler-container .filters, #crawler-container .exclude-domains, #crawler-container .advanced-options, #crawler-container .site-filters, #crawler-container .controls { margin-bottom: 10px; } /* 입력 필드 스타일 */ #crawler-container input[type="text"], #crawler-container textarea, #crawler-container input[type="number"], #crawler-container select { width: 100%; padding: 6px; margin-top: 3px; border: 1px solid #ccc; border-radius: 4px; font-size: 12px; } /* 테이블 스타일 */ #crawler-container table { width: 100%; border-collapse: collapse; margin-top: 8px; font-size: 12px; } #crawler-container th, #crawler-container td { border: 1px solid #ddd; padding: 6px; text-align: left; vertical-align: middle; } #crawler-container th { background-color: #4CAF50; color: #fff; position: sticky; top: 0; z-index: 2; } /* 로그 섹션 스타일 */ #crawler-container .log { max-height: 100px; overflow-y: auto; background-color: #f9f9f9; padding: 8px; border: 1px solid #ccc; border-radius: 4px; font-size: 12px; white-space: pre-wrap; } /* 진행률 표시줄과 상태 텍스트 */ #crawler-container .progress-section { display: flex; align-items: center; margin-top: 8px; } #crawler-container progress { flex: 1; height: 15px; margin-right: 8px; } #crawler-container .status { font-size: 13px; font-weight: bold; margin-top: 8px; } /* 차트 컨테이너 */ #crawler-container .chart-container { position: relative; height: 200px; margin-top: 15px; } /* 반응형 디자인 */ @media (max-width: 800px) { #crawler-container { width: 95%; right: 2.5%; } } /* 다크 모드 유지 */ `); // UI 생성 (창 크기 조정 완료) const container = document.createElement('div'); container.id = 'crawler-container'; container.innerHTML = ` <header> <span class="title">🔥 웹 크롤러 7.4</span> <span class="close-btn" title="닫기">×</span> </header> <div class="tabs"> <div class="tab active" data-tab="settings">설정</div> <div class="tab" data-tab="results">결과</div> <div class="tab" data-tab="logs">로그</div> </div> <div class="tab-content active" id="settings"> <!-- 제어 버튼 --> <div class="controls"> <button id="startBtn" title="크롤링 시작"><i>▶️</i> 시작</button> <button id="pauseBtn" class="pause-btn" title="크롤링 일시정지/재개"><i>⏸️</i> 일시정지</button> <button id="stopBtn" title="크롤링 중지"><i>⏹️</i> 중지</button> <button id="resetBtn" title="크롤링 초기화"><i>🔄</i> 초기화</button> <button id="exportBtn" class="export-btn" title="결과 내보내기"><i>💾</i> 내보내기</button> </div> <!-- 옵션 섹션 --> <div class="options"> <label><input type="checkbox" id="toggleHTML" checked> HTML 가져오기</label> <label><input type="checkbox" id="toggleImages" checked> 이미지 가져오기</label> <label><input type="checkbox" id="toggleAds" checked> 광고 제외</label> </div> <!-- 필터 섹션 --> <div class="filters"> <label for="filterInput">필터 단어 (정규식, 쉼표로 구분):</label> <input type="text" id="filterInput" placeholder="예: 기부, 광고, /promo/i"> </div> <!-- 도메인 제외 섹션 --> <div class="exclude-domains"> <label for="excludeDomainsInput">제외할 도메인 (쉼표로 구분):</label> <input type="text" id="excludeDomainsInput" placeholder="예: facebook.com, youtube.com"> </div> <!-- 고급 옵션 섹션 --> <div class="advanced-options"> <label for="duplicateThreshold">중복 허용 횟수:</label> <input type="number" id="duplicateThreshold" value="2" min="1" style="width: 60px;"> </div> <!-- 제어 옵션 섹션 --> <div class="controls"> <label for="retryAttempts">재시도 횟수:</label> <input type="number" id="retryAttempts" value="3" min="1" style="width: 60px;"> <label for="retryInterval">재시도 간격 (ms):</label> <input type="number" id="retryInterval" value="500" min="100" style="width: 80px;"> </div> <!-- 사이트 필터링 섹션 --> <div class="site-filters"> <label for="siteFilterInput">사이트 필터링 (정규식, 쉼표로 구분):</label> <input type="text" id="siteFilterInput" placeholder="예: .*example\\.com.*, /^https?:\\/\\/.*\\.example\\.org$/"> </div> <!-- 진행률 표시 섹션 --> <div class="progress-section"> <progress id="progressBar" value="0" max="100"></progress> <span id="progressText">0%</span> </div> <!-- 상태 정보 섹션 --> <div class="status"> 현재 페이지: <span id="currentPage">0</span> <br> 방문된 사이트: <span id="visitedCount">0</span> <br> 경과 시간: <span id="elapsedTime">00:00:00</span> <br> 예상 남은 시간: <span id="remainingTime">00:00:00</span> </div> <!-- 차트 섹션 --> <div class="chart-container"> <canvas id="crawlChart"></canvas> </div> </div> <div class="tab-content" id="results"> <div style="margin-top:10px; overflow: auto;"> <table id="resultsTable"> <thead> <tr> <th>사이트 이름</th> <th>주소</th> <th>설명</th> <th>이미지</th> <th>HTML 링크</th> <th>페이지 로딩 시간 (ms)</th> </tr> </thead> <tbody id="resultsBody"> </tbody> </table> </div> </div> <div class="tab-content" id="logs"> <div class="log" id="log"> <strong>로그:</strong> </div> </div> `; document.body.appendChild(container); // 드래그 가능하게 설정 (function makeDraggable(elmnt) { const header = elmnt.querySelector('header'); const closeBtn = elmnt.querySelector('.close-btn'); let pos1 = 0, pos2 = 0, pos3 = 0, pos4 = 0; header.onmousedown = dragMouseDown; closeBtn.onclick = () => { elmnt.style.display = 'none'; } function dragMouseDown(e) { e = e || window.event; e.preventDefault(); pos3 = e.clientX; pos4 = e.clientY; document.onmouseup = closeDragElement; document.onmousemove = elementDrag; } function elementDrag(e) { e = e || window.event; e.preventDefault(); pos1 = pos3 - e.clientX; pos2 = pos4 - e.clientY; pos3 = e.clientX; pos4 = e.clientY; elmnt.style.top = (elmnt.offsetTop - pos2) + "px"; elmnt.style.left = (elmnt.offsetLeft - pos1) + "px"; } function closeDragElement() { document.onmouseup = null; document.onmousemove = null; } })(container); // 탭 기능 구현 (function setupTabs() { const tabs = container.querySelectorAll('.tab'); const tabContents = container.querySelectorAll('.tab-content'); tabs.forEach(tab => { tab.addEventListener('click', () => { tabs.forEach(t => t.classList.remove('active')); tab.classList.add('active'); const target = tab.getAttribute('data-tab'); tabContents.forEach(content => { if(content.id === target){ content.classList.add('active'); } else { content.classList.remove('active'); } }); }); }); })(); // 변수 초기화 let isRunning = false; let isPaused = false; let currentPage = 1; let results = []; let searchQuery = ''; let searchEngine = ''; let visitedLinks = new Map(); // 도메인별 방문 횟수 추적 let logMessages = []; let filterPatterns = []; let excludeDomains = []; let siteFilterPatterns = []; let duplicateThreshold = 2; // 중복 허용 횟수 let retryAttempts = 3; // 재시도 횟수 let retryInterval = 500; // 재시도 간격 (ms) let startTime = null; let elapsedInterval = null; let crawlChart = null; let crawlData = { labels: [], // 도메인 이름 datasets: [{ label: '방문 횟수', data: [], backgroundColor: 'rgba(75, 192, 192, 0.6)', borderColor: 'rgba(75, 192, 192, 1)', borderWidth: 1 }] }; // 버튼 및 요소 가져오기 const startBtn = document.getElementById('startBtn'); const pauseBtn = document.getElementById('pauseBtn'); const stopBtn = document.getElementById('stopBtn'); const resetBtn = document.getElementById('resetBtn'); const exportBtn = document.getElementById('exportBtn'); const progressBar = document.getElementById('progressBar'); const progressText = document.getElementById('progressText'); const resultsBody = document.getElementById('resultsBody'); const logContainer = document.getElementById('log'); const currentPageElem = document.getElementById('currentPage'); const totalPagesElem = document.getElementById('totalPages'); // 무제한이므로 사용하지 않음 const toggleHTML = document.getElementById('toggleHTML'); const toggleImages = document.getElementById('toggleImages'); const toggleAds = document.getElementById('toggleAds'); const filterInput = document.getElementById('filterInput'); const excludeDomainsInput = document.getElementById('excludeDomainsInput'); const siteFilterInput = document.getElementById('siteFilterInput'); const duplicateThresholdInput = document.getElementById('duplicateThreshold'); const retryAttemptsInput = document.getElementById('retryAttempts'); const retryIntervalInput = document.getElementById('retryInterval'); const visitedCountElem = document.getElementById('visitedCount'); const elapsedTimeElem = document.getElementById('elapsedTime'); const remainingTimeElem = document.getElementById('remainingTime'); const crawlChartCtx = document.getElementById('crawlChart').getContext('2d'); // 이벤트 리스너 startBtn.addEventListener('click', startCrawling); pauseBtn.addEventListener('click', togglePause); stopBtn.addEventListener('click', stopCrawling); resetBtn.addEventListener('click', resetCrawling); exportBtn.addEventListener('click', exportResults); filterInput.addEventListener('input', updateFilterPatterns); excludeDomainsInput.addEventListener('input', updateExcludeDomains); siteFilterInput.addEventListener('input', updateSiteFilterPatterns); duplicateThresholdInput.addEventListener('change', updateDuplicateThreshold); retryAttemptsInput.addEventListener('change', updateRetryAttempts); retryIntervalInput.addEventListener('change', updateRetryInterval); // 페이지 새로 고침 시 크롤링 초기화 window.addEventListener('beforeunload', () => { resetCrawling(); }); // 초기화 로드 loadLogs(); loadCrawlData(); // 차트 초기화 function initializeChart() { crawlChart = new Chart(crawlChartCtx, { type: 'bar', data: crawlData, options: { responsive: true, maintainAspectRatio: false, scales: { y: { beginAtZero: true } }, plugins: { legend: { display: false }, tooltip: { enabled: true } } } }); } initializeChart(); // 로깅 함수 function log(message) { const time = new Date().toLocaleTimeString(); const entry = `[${time}] ${message}`; logMessages.push(entry); logContainer.innerHTML += `${entry}<br>`; logContainer.scrollTop = logContainer.scrollHeight; // 저장 GM_setValue('crawlerLogs', JSON.stringify(logMessages)); } function loadLogs() { const storedLogs = GM_getValue('crawlerLogs', []); if (storedLogs.length > 0) { logMessages = JSON.parse(storedLogs); logContainer.innerHTML = `<strong>로그:</strong><br>` + logMessages.join('<br>'); logContainer.scrollTop = logContainer.scrollHeight; } } function updateFilterPatterns() { const input = filterInput.value.trim(); filterPatterns = input ? input.split(',').map(word => { word = word.trim(); if (word.startsWith('/') && word.endsWith('/')) { try { return new RegExp(word.slice(1, -1), 'i'); } catch (e) { log(`⚠️ 유효하지 않은 정규식: ${word}`); return null; } } else { return new RegExp(word, 'i'); } }).filter(regex => regex !== null) : []; log(`🛠 필터 패턴 업데이트: [${filterPatterns.map(r => r.toString()).join(', ')}]`); } function updateExcludeDomains() { const input = excludeDomainsInput.value.trim(); excludeDomains = input ? input.split(',').map(domain => domain.trim().toLowerCase()) : []; log(`🚫 제외 도메인 업데이트: [${excludeDomains.join(', ')}]`); } function updateSiteFilterPatterns() { const input = siteFilterInput.value.trim(); siteFilterPatterns = input ? input.split(',').map(pattern => { pattern = pattern.trim(); if (pattern.startsWith('/') && pattern.endsWith('/')) { try { return new RegExp(pattern.slice(1, -1), 'i'); } catch (e) { log(`⚠️ 유효하지 않은 사이트 필터 정규식: ${pattern}`); return null; } } else { return new RegExp(pattern, 'i'); } }).filter(regex => regex !== null) : []; log(`🛠 사이트 필터 패턴 업데이트: [${siteFilterPatterns.map(r => r.toString()).join(', ')}]`); } function updateDuplicateThreshold() { const value = parseInt(duplicateThresholdInput.value); duplicateThreshold = isNaN(value) || value < 1 ? 2 : value; log(`🔄 중복 허용 횟수 설정: ${duplicateThreshold}`); } function updateRetryAttempts() { const value = parseInt(retryAttemptsInput.value); retryAttempts = isNaN(value) || value < 1 ? 3 : value; log(`🔄 재시도 횟수 설정: ${retryAttempts}`); } function updateRetryInterval() { const value = parseInt(retryIntervalInput.value); retryInterval = isNaN(value) || value < 100 ? 500 : value; log(`🔄 재시도 간격 설정: ${retryInterval}ms`); } function getSearchQueryAndEngine() { const url = window.location.href; if (url.includes('google.com/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('q') || ''; searchEngine = 'google'; } else if (url.includes('bing.com/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('q') || ''; searchEngine = 'bing'; } else if (url.includes('daum.net/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('q') || ''; searchEngine = 'daum'; } else if (url.includes('search.naver.com/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('query') || ''; searchEngine = 'naver'; } else if (url.includes('search.yahoo.com/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('p') || ''; searchEngine = 'yahoo'; } else { searchQuery = ''; searchEngine = ''; } log(`🔍 검색 엔진: ${searchEngine}, 검색어: "${searchQuery}"`); } async function startCrawling() { if (isRunning) { alert('이미 크롤링이 진행 중입니다.'); return; } getSearchQueryAndEngine(); if (!searchQuery) { alert('현재 페이지에서 검색어를 찾을 수 없습니다.'); log('⚠️ 검색어 미입력 또는 인식 실패.'); return; } isRunning = true; isPaused = false; currentPage = 1; results = []; visitedLinks.clear(); resultsBody.innerHTML = ''; visitedCountElem.innerText = '0'; elapsedTimeElem.innerText = '00:00:00'; remainingTimeElem.innerText = '00:00:00'; logMessages = []; logContainer.innerHTML = `<strong>로그:</strong><br>`; GM_setValue('crawlerLogs', JSON.stringify(logMessages)); log('✅ 크롤링을 시작합니다.'); updateDuplicateThreshold(); updateRetryAttempts(); updateRetryInterval(); await crawlPage(); startTime = Date.now(); elapsedInterval = setInterval(updateElapsedTime, 1000); } function togglePause() { if (!isRunning) { alert('일시정지/재개할 크롤링이 없습니다.'); return; } isPaused = !isPaused; if (isPaused) { log('⏸️ 크롤링을 일시정지하였습니다.'); pauseBtn.innerText = '▶️ 재개'; } else { log('▶️ 크롤링을 재개하였습니다.'); pauseBtn.innerText = '⏸️ 일시정지'; crawlPage(); } } function stopCrawling() { if (!isRunning) { alert('중지할 크롤링이 없습니다.'); return; } isRunning = false; isPaused = false; pauseBtn.innerText = '⏸️ 일시정지'; clearInterval(elapsedInterval); updateProgress(); log('🚫 크롤링을 중지하였습니다.'); GM_notification({ text: '크롤링이 중지되었습니다.', title: '웹 크롤러 7.4', timeout: 3000 }); } async function crawlPage() { if (!isRunning || isPaused) { return; } // 검색 엔진에 따른 URL 구성 let url = ''; if (searchEngine === 'google') { url = `https://www.google.com/search?q=${encodeURIComponent(searchQuery)}&start=${(currentPage-1)*10}`; } else if (searchEngine === 'bing') { url = `https://www.bing.com/search?q=${encodeURIComponent(searchQuery)}&first=${(currentPage-1)*10 +1}`; } else if (searchEngine === 'daum') { url = `https://search.daum.net/search?q=${encodeURIComponent(searchQuery)}&page=${currentPage}`; } else if (searchEngine === 'naver') { url = `https://search.naver.com/search.naver?query=${encodeURIComponent(searchQuery)}&start=${(currentPage-1)*10 +1}`; } else if (searchEngine === 'yahoo') { url = `https://search.yahoo.com/search?p=${encodeURIComponent(searchQuery)}&b=${(currentPage-1)*10 +1}`; } else { alert('지원하지 않는 검색 엔진입니다.'); log('❌ 지원하지 않는 검색 엔진.'); isRunning = false; return; } log(`📄 페이지 ${currentPage} 크롤링 중: ${url}`); GM_xmlhttpRequest({ method: "GET", url: url, headers: { "User-Agent": navigator.userAgent, "Accept": "text/html" }, onload: async function(response) { if (response.status !== 200) { log(`❌ 페이지 ${currentPage} 로드 실패: 상태 ${response.status}`); await handleCrawlError(currentPage, retryAttempts); return; } const parser = new DOMParser(); const doc = parser.parseFromString(response.responseText, 'text/html'); let items = []; if (searchEngine === 'google') { items = doc.querySelectorAll('div.g'); } else if (searchEngine === 'bing') { items = doc.querySelectorAll('li.b_algo'); } else if (searchEngine === 'daum') { items = doc.querySelectorAll('div.wrap_cont'); } else if (searchEngine === 'naver') { items = doc.querySelectorAll('div.basic1'); } else if (searchEngine === 'yahoo') { items = doc.querySelectorAll('div.compTitle'); } // 만약 검색 결과가 없다면 크롤링 종료 if (items.length === 0) { log('🔍 더 이상 크롤링할 페이지가 없습니다. 크롤링을 종료합니다.'); isRunning = false; isPaused = false; pauseBtn.innerText = '⏸️ 일시정지'; clearInterval(elapsedInterval); updateProgress(); GM_notification({ text: '크롤링이 완료되었습니다.', title: '웹 크롤러 7.4', timeout: 3000 }); return; } log(`📊 페이지 ${currentPage}에서 ${items.length}개 항목 발견.`); // 병렬 처리: Promise.all을 이용하여 비동기적으로 처리 const itemPromises = Array.from(items).map(async (item) => { let title = 'N/A'; let link = 'N/A'; let description = 'N/A'; let image = 'N/A'; let htmlLink = 'N/A'; let pageLoadTime = 'N/A'; // 각 검색 엔진에 따른 데이터 추출 if (searchEngine === 'google') { const titleElem = item.querySelector('h3'); const linkElem = item.querySelector('a'); const descElem = item.querySelector('.IsZvec') || item.querySelector('.VwiC3b'); if (titleElem) title = titleElem.innerText; if (linkElem) link = linkElem.href; if (descElem) description = descElem.innerText; // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<a href="https://codebeautify.org/htmlviewer/?url=${encodeURIComponent(link)}" target="_blank">보기</a>`; } } else if (searchEngine === 'bing') { const titleElem = item.querySelector('h2 a'); const descElem = item.querySelector('p'); if (titleElem) { title = titleElem.innerText; link = titleElem.href; } if (descElem) description = descElem.innerText; // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<a href="https://codebeautify.org/htmlviewer/?url=${encodeURIComponent(link)}" target="_blank">보기</a>`; } } else if (searchEngine === 'daum') { const titleElem = item.querySelector('a.link_fax'); const descElem = item.querySelector('div.cont_inner'); if (titleElem) { title = titleElem.innerText.trim(); link = titleElem.href; } if (descElem) description = descElem.innerText.trim(); // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<a href="https://codebeautify.org/htmlviewer/?url=${encodeURIComponent(link)}" target="_blank">보기</a>`; } } else if (searchEngine === 'naver') { const titleElem = item.querySelector('a.tit'); const descElem = item.querySelector('div.desc'); if (titleElem) { title = titleElem.innerText; link = titleElem.href; } if (descElem) description = descElem.innerText; // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img.thumb'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<a href="https://codebeautify.org/htmlviewer/?url=${encodeURIComponent(link)}" target="_blank">보기</a>`; } } else if (searchEngine === 'yahoo') { const titleElem = item.querySelector('h3'); const linkElem = item.querySelector('a'); const descElem = item.querySelector('div.compText'); if (titleElem) title = titleElem.innerText; if (linkElem) link = linkElem.href; if (descElem) description = descElem.innerText; // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<a href="https://codebeautify.org/htmlviewer/?url=${encodeURIComponent(link)}" target="_blank">보기</a>`; } } // 광고 제외 기능 적용 if (toggleAds.checked) { const combinedText = `${title} ${description}`.toLowerCase(); const isAd = combinedText.includes('advertisement') || combinedText.includes('광고'); if (isAd) { log(`🚫 광고 항목 제외: "${title}"`); return null; } } // 필터 단어 적용 if (filterPatterns.length > 0) { const combinedText = `${title} ${description}`.toLowerCase(); const isFiltered = filterPatterns.some(regex => regex.test(combinedText)); if (isFiltered) { log(`❌ 필터 단어 포함 항목 제외: "${title}"`); return null; } } // 사이트 필터링 적용 if (siteFilterPatterns.length > 0) { const isSiteFiltered = siteFilterPatterns.some(regex => regex.test(link)); if (isSiteFiltered) { log(`🚫 사이트 필터링에 의해 제외된 항목: "${link}"`); return null; } } // 도메인 추출 const domain = extractDomain(link); if (!domain) return null; // 제외 도메인 검사 if (excludeDomains.includes(domain.toLowerCase())) { log(`🚫 제외 도메인 항목 제외: "${link}"`); return null; } // 중복 검사 (도메인별 방문 횟수) let visitCount = visitedLinks.get(domain) || 0; if (visitCount >= duplicateThreshold) { log(`🔄 중복 방문 제한: "${domain}"`); return null; } // 방문 횟수 업데이트 visitedLinks.set(domain, visitCount + 1); visitedCountElem.innerText = visitedLinks.size.toString(); // 페이지 로딩 시간 측정 const loadStart = performance.now(); try { // mode: 'cors'로 변경하여 실제 응답을 받을 수 있도록 함 const fetchResponse = await fetch(link, { mode: 'cors' }); if (fetchResponse.ok) { const loadEnd = performance.now(); pageLoadTime = Math.round(loadEnd - loadStart); } else { pageLoadTime = '응답 불량'; } } catch (err) { pageLoadTime = '계산 불가'; } // HTML 옵션 if (!toggleHTML.checked) { htmlLink = '비활성화'; } // 이미지 옵션 if (!toggleImages.checked) { image = '비활성화'; } const result = { title, link, description, image, htmlLink, pageLoadTime }; results.push(result); // 결과 테이블에 추가 const row = document.createElement('tr'); row.innerHTML = ` <td>${escapeHTML(title)}</td> <td><a href="${escapeHTML(link)}" target="_blank">${escapeHTML(link)}</a></td> <td>${escapeHTML(description)}</td> <td>${image}</td> <td>${htmlLink}</td> <td>${pageLoadTime}</td> `; resultsBody.appendChild(row); return result; }); // Promise.all을 통해 모든 항목 처리 완료 대기 await Promise.all(itemPromises); // 데이터 시각화 업데이트 updateChart(); // 진행률 업데이트 updateProgress(); // 다음 페이지로 이동 currentPage++; currentPageElem.innerText = currentPage; // 대기 시간 추가하여 서버에 부담 주지 않기 setTimeout(() => { crawlPage(); }, isPaused ? 0 : 1500); // 1.5초 대기 }, onerror: function() { log(`❌ 페이지 ${currentPage} 요청 중 오류 발생.`); handleCrawlError(currentPage, retryAttempts); } }); } async function handleCrawlError(page, retriesLeft) { if (retriesLeft > 0 && isRunning) { log(`🔄 페이지 ${page} 재시도 (${retriesLeft}회 남음).`); setTimeout(() => { const url = constructURL(page); GM_xmlhttpRequest({ method: "GET", url: url, headers: { "User-Agent": navigator.userAgent, "Accept": "text/html" }, onload: async function(response) { if (response.status === 200) { log(`✅ 페이지 ${page} 재시도 성공.`); await crawlPage(); } else { await handleCrawlError(page, retriesLeft - 1); } }, onerror: async function() { await handleCrawlError(page, retriesLeft - 1); } }); }, retryInterval); } else { log(`❌ 페이지 ${page} 로드 실패: 최대 재시도 횟수 초과.`); // 크롤링을 중지하지 않고 다음 페이지로 넘어감 currentPage++; currentPageElem.innerText = currentPage; setTimeout(() => { crawlPage(); }, 1500); } } function constructURL(page) { if (searchEngine === 'google') { return `https://www.google.com/search?q=${encodeURIComponent(searchQuery)}&start=${(page-1)*10}`; } else if (searchEngine === 'bing') { return `https://www.bing.com/search?q=${encodeURIComponent(searchQuery)}&first=${(page-1)*10 +1}`; } else if (searchEngine === 'daum') { return `https://search.daum.net/search?q=${encodeURIComponent(searchQuery)}&page=${page}`; } else if (searchEngine === 'naver') { return `https://search.naver.com/search.naver?query=${encodeURIComponent(searchQuery)}&start=${(page-1)*10 +1}`; } else if (searchEngine === 'yahoo') { return `https://search.yahoo.com/search?p=${encodeURIComponent(searchQuery)}&b=${(page-1)*10 +1}`; } else { return ''; } } function updateProgress() { // 무제한이므로 진행률을 페이지 수에 기반하여 표시 const progressPercent = (currentPage % 100) * 1; // 100페이지마다 100%로 리셋 progressBar.value = progressPercent > 100 ? 100 : progressPercent; progressText.innerText = `페이지 ${currentPage}`; if (progressPercent >= 100) { progressBar.value = 0; } } function resetCrawling() { isRunning = false; isPaused = false; currentPage = 1; results = []; visitedLinks.clear(); resultsBody.innerHTML = ''; progressBar.value = 0; progressText.innerText = '0%'; currentPageElem.innerText = '0'; totalPagesElem.innerText = '0'; // 무제한이므로 이제 사용되지 않음 visitedCountElem.innerText = '0'; elapsedTimeElem.innerText = '00:00:00'; remainingTimeElem.innerText = '00:00:00'; logMessages = []; logContainer.innerHTML = `<strong>로그:</strong><br>`; GM_setValue('crawlerLogs', JSON.stringify(logMessages)); // 차트 초기화 crawlData.labels = []; crawlData.datasets[0].data = []; if (crawlChart) { crawlChart.update(); } clearInterval(elapsedInterval); log('🔄 크롤링을 초기화하였습니다.'); } function exportResults() { if (results.length === 0) { alert('내보낼 결과가 없습니다.'); return; } const format = prompt('내보낼 형식을 선택하세요 (xlsx, csv, json):', 'xlsx'); if (!format) return; if (format.toLowerCase() === 'xlsx') { const ws = XLSX.utils.json_to_sheet(results); const wb = XLSX.utils.book_new(); XLSX.utils.book_append_sheet(wb, ws, "결과"); XLSX.writeFile(wb, "크롤링_결과.xlsx"); log('💾 결과를 "크롤링_결과.xlsx" 파일로 내보냈습니다.'); GM_notification({ text: '결과를 "크롤링_결과.xlsx" 파일로 내보냈습니다.', title: '웹 크롤러 7.4', timeout: 3000 }); } else if (format.toLowerCase() === 'csv') { const csv = results.map(row => `"${row.title}","${row.link}","${row.description}","${row.image}","${row.htmlLink}","${row.pageLoadTime}"`).join('\n'); const blob = new Blob([csv], { type: 'text/csv;charset=utf-8;' }); const url = URL.createObjectURL(blob); const a = document.createElement('a'); a.href = url; a.download = '크롤링_결과.csv'; a.click(); log('💾 결과를 "크롤링_결과.csv" 파일로 내보냈습니다.'); GM_notification({ text: '결과를 "크롤링_결과.csv" 파일로 내보냈습니다.', title: '웹 크롤러 7.4', timeout: 3000 }); } else if (format.toLowerCase() === 'json') { const json = JSON.stringify(results, null, 2); const blob = new Blob([json], { type: 'application/json;charset=utf-8;' }); const url = URL.createObjectURL(blob); const a = document.createElement('a'); a.href = url; a.download = '크롤링_결과.json'; a.click(); log('💾 결과를 "크롤링_결과.json" 파일로 내보냈습니다.'); GM_notification({ text: '결과를 "크롤링_결과.json" 파일로 내보냈습니다.', title: '웹 크롤러 7.4', timeout: 3000 }); } else { alert('지원하지 않는 형식입니다.'); } } function escapeHTML(str) { if (!str) return ''; return str.replace(/&/g, "&") .replace(/</g, "<") .replace(/>/g, ">") .replace(/"/g, """) .replace(/'/g, "'"); } function extractDomain(url) { try { const urlObj = new URL(url); return urlObj.hostname.replace('www.', ''); } catch (e) { return null; } } function updateElapsedTime() { if (!startTime) return; const now = Date.now(); const elapsed = Math.floor((now - startTime) / 1000); elapsedTimeElem.innerText = formatTime(elapsed); const estimatedTotal = currentPage * 1.5; // 예측: 각 페이지 1.5초 const remaining = Math.max(estimatedTotal - elapsed, 0); remainingTimeElem.innerText = formatTime(remaining); } function formatTime(seconds) { const hrs = String(Math.floor(seconds / 3600)).padStart(2, '0'); const mins = String(Math.floor((seconds % 3600) / 60)).padStart(2, '0'); const secs = String(seconds % 60).padStart(2, '0'); return `${hrs}:${mins}:${secs}`; } function updateChart() { crawlData.labels = Array.from(visitedLinks.keys()); crawlData.datasets[0].data = Array.from(visitedLinks.values()); if (crawlChart) { crawlChart.update(); } // 저장 GM_setValue('crawlerData', JSON.stringify(crawlData)); } function loadCrawlData() { const storedData = GM_getValue('crawlerData', null); if (storedData) { const parsedData = JSON.parse(storedData); crawlData = parsedData; if (crawlChart) { crawlChart.data = crawlData; crawlChart.update(); } } } function saveCrawlData() { GM_setValue('crawlerData', JSON.stringify(crawlData)); } // 주기적으로 크롤링 데이터를 저장 setInterval(saveCrawlData, 5000);})(); 사이트 걸러내는 기능 대폭 개선. + 사이트 걸러내는 기능 탭 분리 + 사이트 걸러내는 기능 새로운 방향으로 개선. + 크롤링 본연의 기능 대폭 개선 + 엄격 사이트 걸러내기 ON OFF 추가 + 그 검색엔진 바로 가는 버튼 추가 + 검색 엔진 ㅈㄴ 다양하게 + hlml 버튼 누르면 바로 UI에 사이트 보이게 + hlml 버튼에 마우스 가져다대면 바로 미리보기 보이게 ㄱㄱ
- Assistant
안녕하세요! 제공해주신 웹 크롤러 스크립트에 다양한 기능 개선 요청을 반영하여 업데이트해드리겠습니다. 아래는 요청하신 사항들을 반영한 종합 웹 크롤러 7.5 버전의 Tampermonkey 스크립트입니다.
주요 업데이트 내용:
-
사이트 걸러내는 기능 대폭 개선 및 탭 분리:
- 사이트 필터링 기능을 별도의 "사이트 필터" 탭으로 분리하여 관리가 용이해졌습니다.
- 필터링 로직을 강화하여 더 정교하게 사이트를 걸러낼 수 있도록 개선하였습니다.
- 엄격한 사이트 필터링을 켜고 끌 수 있는 토글 스위치를 추가했습니다.
-
크롤링 기능 개선:
- 크롤링의 핵심 기능을 최적화하여 성능과 안정성을 향상시켰습니다.
- 여러 검색 엔진을 지원하도록 확장하였으며, UI에 검색 엔진으로 바로 이동할 수 있는 버튼을 추가했습니다.
-
HTML 버튼 개선:
- HTML 버튼을 클릭하면 관련 사이트의 내용을 UI 내에서 직접 볼 수 있게 했습니다.
- HTML 버튼에 마우스를 가져다대면 사이트의 미리보기가 팝업으로 표시됩니다.
-
검색 엔진 다양화:
- 기존 지원 검색 엔진 외에도 DuckDuckGo, Ecosia 등 다양한 검색 엔진을 추가했습니다.
아래는 업데이트된 스크립트입니다:
// ==UserScript== // @name 종합 웹 크롤러 7.5 // @namespace http://tampermonkey.net/ // @version 7.5 // @description 고급 기능을 갖춘 웹 크롤러로 검색 결과를 실시간으로 수집하고 표시 (무제한 페이지 지원 및 기능 개선) // @author YourName // @match *://www.google.com/search* // @match *://www.bing.com/search* // @match *://search.daum.net/search* // @match *://search.naver.com/search* // @match *://search.yahoo.com/search* // @match *://duckduckgo.com/* // @match *://www.ecosia.org/search* // @grant GM_xmlhttpRequest // @grant GM_addStyle // @grant GM_setValue // @grant GM_getValue // @grant GM_notification // @connect * // @require https://cdnjs.cloudflare.com/ajax/libs/xlsx/0.18.5/xlsx.full.min.js // @require https://cdn.jsdelivr.net/npm/chart.js // @require https://cdnjs.cloudflare.com/ajax/libs/Sortable/1.14.0/Sortable.min.js // ==/UserScript== (function() { 'use strict'; // CSS 스타일 추가 (크롤러 창 크기 축소 및 UI 개선) GM_addStyle(` /* 기본 컨테이너 스타일 */ #crawler-container { position: fixed; top: 10px; right: 10px; background-color: #fff; border: 1px solid #4CAF50; padding: 15px; z-index: 10000; width: 500px; max-height: 90vh; overflow: auto; box-shadow: 0 4px 20px rgba(0,0,0,0.3); border-radius: 8px; font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif; font-size: 13px; display: flex; flex-direction: column; transition: all 0.3s ease; } /* 헤더 스타일 */ #crawler-container header { display: flex; justify-content: space-between; align-items: center; background-color: #4CAF50; color: #fff; padding: 8px 12px; border-radius: 6px 6px 0 0; cursor: move; } #crawler-container header .title { font-size: 18px; font-weight: bold; } #crawler-container header .close-btn { font-size: 20px; cursor: pointer; transition: color 0.3s; } #crawler-container header .close-btn:hover { color: #ff4d4d; } /* 탭 스타일 */ #crawler-container .tabs { display: flex; border-bottom: 1px solid #4CAF50; margin-top: 10px; } #crawler-container .tab { flex: 1; padding: 8px; text-align: center; cursor: pointer; background-color: #f1f1f1; transition: background-color 0.3s, color 0.3s; border-radius: 4px 4px 0 0; margin-right: 1px; } #crawler-container .tab:last-child { margin-right: 0; } #crawler-container .tab.active { background-color: #4CAF50; color: #fff; font-weight: bold; } /* 탭 콘텐츠 스타일 */ #crawler-container .tab-content { display: none; padding: 10px; flex-grow: 1; } #crawler-container .tab-content.active { display: block; } /* 버튼 스타일 */ #crawler-container button { padding: 6px 10px; margin: 4px 2px; border: none; border-radius: 4px; background-color: #4CAF50; color: #fff; cursor: pointer; transition: background-color 0.3s; font-size: 12px; } #crawler-container button:hover { background-color: #45a049; } /* Toggle 스위치 스타일 */ .switch { position: relative; display: inline-block; width: 40px; height: 20px; margin-left: 10px; vertical-align: middle; } .switch input { opacity: 0; width: 0; height: 0; } .slider { position: absolute; cursor: pointer; top: 0; left: 0; right: 0; bottom: 0; background-color: #ccc; transition: .4s; border-radius: 34px; } .slider:before { position: absolute; content: ""; height: 16px; width: 16px; left: 2px; bottom: 2px; background-color: white; transition: .4s; border-radius: 50%; } input:checked + .slider { background-color: #4CAF50; } input:focus + .slider { box-shadow: 0 0 1px #4CAF50; } input:checked + .slider:before { transform: translateX(20px); } /* 기타 섹션 스타일 */ #crawler-container .options, #crawler-container .filters, #crawler-container .exclude-domains, #crawler-container .advanced-options, #crawler-container .site-filters, #crawler-container .controls { margin-bottom: 10px; } /* 입력 필드 스타일 */ #crawler-container input[type="text"], #crawler-container textarea, #crawler-container input[type="number"], #crawler-container select { width: 100%; padding: 6px; margin-top: 3px; border: 1px solid #ccc; border-radius: 4px; font-size: 12px; } /* 테이블 스타일 */ #crawler-container table { width: 100%; border-collapse: collapse; margin-top: 8px; font-size: 12px; } #crawler-container th, #crawler-container td { border: 1px solid #ddd; padding: 6px; text-align: left; vertical-align: middle; } #crawler-container th { background-color: #4CAF50; color: #fff; position: sticky; top: 0; z-index: 2; } /* 로그 섹션 스타일 */ #crawler-container .log { max-height: 100px; overflow-y: auto; background-color: #f9f9f9; padding: 8px; border: 1px solid #ccc; border-radius: 4px; font-size: 12px; white-space: pre-wrap; } /* 진행률 표시줄과 상태 텍스트 */ #crawler-container .progress-section { display: flex; align-items: center; margin-top: 8px; } #crawler-container progress { flex: 1; height: 15px; margin-right: 8px; } #crawler-container .status { font-size: 13px; font-weight: bold; margin-top: 8px; } /* 차트 컨테이너 */ #crawler-container .chart-container { position: relative; height: 200px; margin-top: 15px; } /* 미리보기 팝업 스타일 */ .preview-popup { position: absolute; top: 40px; left: 0; width: 300px; height: 200px; background-color: #fff; border: 1px solid #4CAF50; box-shadow: 0 4px 10px rgba(0,0,0,0.2); z-index: 10001; display: none; } /* 반응형 디자인 */ @media (max-width: 800px) { #crawler-container { width: 95%; right: 2.5%; } } /* 다크 모드 유지 */ `); // UI 생성 (창 크기 조정 완료) const container = document.createElement('div'); container.id = 'crawler-container'; container.innerHTML = ` <header> <span class="title">🔥 웹 크롤러 7.5</span> <span class="close-btn" title="닫기">×</span> </header> <div class="tabs"> <div class="tab active" data-tab="settings">설정</div> <div class="tab" data-tab="results">결과</div> <div class="tab" data-tab="logs">로그</div> <div class="tab" data-tab="site-filters">사이트 필터</div> </div> <div class="tab-content active" id="settings"> <!-- 제어 버튼 --> <div class="controls"> <button id="startBtn" title="크롤링 시작"><i>▶️</i> 시작</button> <button id="pauseBtn" class="pause-btn" title="크롤링 일시정지/재개"><i>⏸️</i> 일시정지</button> <button id="stopBtn" title="크롤링 중지"><i>⏹️</i> 중지</button> <button id="resetBtn" title="크롤링 초기화"><i>🔄</i> 초기화</button> <button id="exportBtn" class="export-btn" title="결과 내보내기"><i>💾</i> 내보내기</button> <button id="searchEnginesBtn" class="search-engines-btn" title="검색 엔진 바로가기"><i>🔍</i> 검색 엔진</button> </div> <!-- 옵션 섹션 --> <div class="options"> <label><input type="checkbox" id="toggleHTML" checked> HTML 가져오기</label> <label><input type="checkbox" id="toggleImages" checked> 이미지 가져오기</label> <label><input type="checkbox" id="toggleAds" checked> 광고 제외</label> <label>엄격 사이트 필터링 <label class="switch"> <input type="checkbox" id="strictSiteFilter"> <span class="slider"></span> </label> </label> </div> <!-- 필터 섹션 --> <div class="filters"> <label for="filterInput">필터 단어 (정규식, 쉼표로 구분):</label> <input type="text" id="filterInput" placeholder="예: 기부, 광고, /promo/i"> </div> <!-- 도메인 제외 섹션 --> <div class="exclude-domains"> <label for="excludeDomainsInput">제외할 도메인 (쉼표로 구분):</label> <input type="text" id="excludeDomainsInput" placeholder="예: facebook.com, youtube.com"> </div> <!-- 고급 옵션 섹션 --> <div class="advanced-options"> <label for="duplicateThreshold">중복 허용 횟수:</label> <input type="number" id="duplicateThreshold" value="2" min="1" style="width: 60px;"> </div> <!-- 제어 옵션 섹션 --> <div class="controls"> <label for="retryAttempts">재시도 횟수:</label> <input type="number" id="retryAttempts" value="3" min="1" style="width: 60px;"> <label for="retryInterval">재시도 간격 (ms):</label> <input type="number" id="retryInterval" value="500" min="100" style="width: 80px;"> </div> <!-- 진행률 표시 섹션 --> <div class="progress-section"> <progress id="progressBar" value="0" max="100"></progress> <span id="progressText">0%</span> </div> <!-- 상태 정보 섹션 --> <div class="status"> 현재 페이지: <span id="currentPage">0</span> <br> 방문된 사이트: <span id="visitedCount">0</span> <br> 경과 시간: <span id="elapsedTime">00:00:00</span> <br> 예상 남은 시간: <span id="remainingTime">00:00:00</span> </div> <!-- 차트 섹션 --> <div class="chart-container"> <canvas id="crawlChart"></canvas> </div> </div> <div class="tab-content" id="results"> <div style="margin-top:10px; overflow: auto;"> <table id="resultsTable"> <thead> <tr> <th>사이트 이름</th> <th>주소</th> <th>설명</th> <th>이미지</th> <th>HTML 링크</th> <th>페이지 로딩 시간 (ms)</th> </tr> </thead> <tbody id="resultsBody"> </tbody> </table> </div> </div> <div class="tab-content" id="logs"> <div class="log" id="log"> <strong>로그:</strong> </div> </div> <div class="tab-content" id="site-filters"> <div class="site-filters"> <label for="siteFilterInput">사이트 필터링 (정규식, 쉼표로 구분):</label> <input type="text" id="siteFilterInput" placeholder="예: .*example\\.com.*, /^https?:\\/\\/.*\\.example\\.org$/"> </div> </div> `; document.body.appendChild(container); // 드래그 가능하게 설정 (function makeDraggable(elmnt) { const header = elmnt.querySelector('header'); const closeBtn = elmnt.querySelector('.close-btn'); let pos1 = 0, pos2 = 0, pos3 = 0, pos4 = 0; header.onmousedown = dragMouseDown; closeBtn.onclick = () => { elmnt.style.display = 'none'; } function dragMouseDown(e) { e = e || window.event; e.preventDefault(); pos3 = e.clientX; pos4 = e.clientY; document.onmouseup = closeDragElement; document.onmousemove = elementDrag; } function elementDrag(e) { e = e || window.event; e.preventDefault(); pos1 = pos3 - e.clientX; pos2 = pos4 - e.clientY; pos3 = e.clientX; pos4 = e.clientY; elmnt.style.top = (elmnt.offsetTop - pos2) + "px"; elmnt.style.left = (elmnt.offsetLeft - pos1) + "px"; } function closeDragElement() { document.onmouseup = null; document.onmousemove = null; } })(container); // 탭 기능 구현 (function setupTabs() { const tabs = container.querySelectorAll('.tab'); const tabContents = container.querySelectorAll('.tab-content'); tabs.forEach(tab => { tab.addEventListener('click', () => { tabs.forEach(t => t.classList.remove('active')); tab.classList.add('active'); const target = tab.getAttribute('data-tab'); tabContents.forEach(content => { if(content.id === target){ content.classList.add('active'); } else { content.classList.remove('active'); } }); }); }); })(); // 변수 초기화 let isRunning = false; let isPaused = false; let currentPage = 1; let results = []; let searchQuery = ''; let searchEngine = ''; let visitedLinks = new Map(); // 도메인별 방문 횟수 추적 let logMessages = []; let filterPatterns = []; let excludeDomains = []; let siteFilterPatterns = []; let duplicateThreshold = 2; // 중복 허용 횟수 let retryAttempts = 3; // 재시도 횟수 let retryInterval = 500; // 재시도 간격 (ms) let startTime = null; let elapsedInterval = null; let crawlChart = null; let crawlData = { labels: [], // 도메인 이름 datasets: [{ label: '방문 횟수', data: [], backgroundColor: 'rgba(75, 192, 192, 0.6)', borderColor: 'rgba(75, 192, 192, 1)', borderWidth: 1 }] }; // 버튼 및 요소 가져오기 const startBtn = document.getElementById('startBtn'); const pauseBtn = document.getElementById('pauseBtn'); const stopBtn = document.getElementById('stopBtn'); const resetBtn = document.getElementById('resetBtn'); const exportBtn = document.getElementById('exportBtn'); const searchEnginesBtn = document.getElementById('searchEnginesBtn'); const progressBar = document.getElementById('progressBar'); const progressText = document.getElementById('progressText'); const resultsBody = document.getElementById('resultsBody'); const logContainer = document.getElementById('log'); const currentPageElem = document.getElementById('currentPage'); const toggleHTML = document.getElementById('toggleHTML'); const toggleImages = document.getElementById('toggleImages'); const toggleAds = document.getElementById('toggleAds'); const filterInput = document.getElementById('filterInput'); const excludeDomainsInput = document.getElementById('excludeDomainsInput'); const siteFilterInput = document.getElementById('siteFilterInput'); const duplicateThresholdInput = document.getElementById('duplicateThreshold'); const retryAttemptsInput = document.getElementById('retryAttempts'); const retryIntervalInput = document.getElementById('retryInterval'); const strictSiteFilter = document.getElementById('strictSiteFilter'); const visitedCountElem = document.getElementById('visitedCount'); const elapsedTimeElem = document.getElementById('elapsedTime'); const remainingTimeElem = document.getElementById('remainingTime'); const crawlChartCtx = document.getElementById('crawlChart').getContext('2d'); // 이벤트 리스너 startBtn.addEventListener('click', startCrawling); pauseBtn.addEventListener('click', togglePause); stopBtn.addEventListener('click', stopCrawling); resetBtn.addEventListener('click', resetCrawling); exportBtn.addEventListener('click', exportResults); searchEnginesBtn.addEventListener('click', openSearchEngines); filterInput.addEventListener('input', updateFilterPatterns); excludeDomainsInput.addEventListener('input', updateExcludeDomains); siteFilterInput.addEventListener('input', updateSiteFilterPatterns); duplicateThresholdInput.addEventListener('change', updateDuplicateThreshold); retryAttemptsInput.addEventListener('change', updateRetryAttempts); retryIntervalInput.addEventListener('change', updateRetryInterval); strictSiteFilter.addEventListener('change', updateStrictSiteFilter); // 페이지 새로 고침 시 크롤링 초기화 window.addEventListener('beforeunload', () => { resetCrawling(); }); // 초기화 로드 loadLogs(); loadCrawlData(); // 차트 초기화 function initializeChart() { crawlChart = new Chart(crawlChartCtx, { type: 'bar', data: crawlData, options: { responsive: true, maintainAspectRatio: false, scales: { y: { beginAtZero: true } }, plugins: { legend: { display: false }, tooltip: { enabled: true } } } }); } initializeChart(); // 로깅 함수 function log(message) { const time = new Date().toLocaleTimeString(); const entry = `[${time}] ${message}`; logMessages.push(entry); logContainer.innerHTML += `${entry}<br>`; logContainer.scrollTop = logContainer.scrollHeight; // 저장 GM_setValue('crawlerLogs', JSON.stringify(logMessages)); } function loadLogs() { const storedLogs = GM_getValue('crawlerLogs', []); if (storedLogs.length > 0) { logMessages = JSON.parse(storedLogs); logContainer.innerHTML = `<strong>로그:</strong><br>` + logMessages.join('<br>'); logContainer.scrollTop = logContainer.scrollHeight; } } function updateFilterPatterns() { const input = filterInput.value.trim(); filterPatterns = input ? input.split(',').map(word => { word = word.trim(); if (word.startsWith('/') && word.endsWith('/')) { try { return new RegExp(word.slice(1, -1), 'i'); } catch (e) { log(`⚠️ 유효하지 않은 정규식: ${word}`); return null; } } else { return new RegExp(word, 'i'); } }).filter(regex => regex !== null) : []; log(`🛠 필터 패턴 업데이트: [${filterPatterns.map(r => r.toString()).join(', ')}]`); } function updateExcludeDomains() { const input = excludeDomainsInput.value.trim(); excludeDomains = input ? input.split(',').map(domain => domain.trim().toLowerCase()) : []; log(`🚫 제외 도메인 업데이트: [${excludeDomains.join(', ')}]`); } function updateSiteFilterPatterns() { const input = siteFilterInput.value.trim(); siteFilterPatterns = input ? input.split(',').map(pattern => { pattern = pattern.trim(); if (pattern.startsWith('/') && pattern.endsWith('/')) { try { return new RegExp(pattern.slice(1, -1), 'i'); } catch (e) { log(`⚠️ 유효하지 않은 사이트 필터 정규식: ${pattern}`); return null; } } else { return new RegExp(pattern, 'i'); } }).filter(regex => regex !== null) : []; log(`🛠 사이트 필터 패턴 업데이트: [${siteFilterPatterns.map(r => r.toString()).join(', ')}]`); } function updateDuplicateThreshold() { const value = parseInt(duplicateThresholdInput.value); duplicateThreshold = isNaN(value) || value < 1 ? 2 : value; log(`🔄 중복 허용 횟수 설정: ${duplicateThreshold}`); } function updateRetryAttempts() { const value = parseInt(retryAttemptsInput.value); retryAttempts = isNaN(value) || value < 1 ? 3 : value; log(`🔄 재시도 횟수 설정: ${retryAttempts}`); } function updateRetryInterval() { const value = parseInt(retryIntervalInput.value); retryInterval = isNaN(value) || value < 100 ? 500 : value; log(`🔄 재시도 간격 설정: ${retryInterval}ms`); } function updateStrictSiteFilter() { const isStrict = strictSiteFilter.checked; log(`🔄 엄격 사이트 필터링 설정: ${isStrict ? 'ON' : 'OFF'}`); } function getSearchQueryAndEngine() { const url = window.location.href; if (url.includes('google.com/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('q') || ''; searchEngine = 'google'; } else if (url.includes('bing.com/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('q') || ''; searchEngine = 'bing'; } else if (url.includes('daum.net/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('q') || ''; searchEngine = 'daum'; } else if (url.includes('search.naver.com/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('query') || ''; searchEngine = 'naver'; } else if (url.includes('search.yahoo.com/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('p') || ''; searchEngine = 'yahoo'; } else if (url.includes('duckduckgo.com/')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('q') || ''; searchEngine = 'duckduckgo'; } else if (url.includes('ecosia.org/search')) { const params = new URLSearchParams(window.location.search); searchQuery = params.get('q') || ''; searchEngine = 'ecosia'; } else { searchQuery = ''; searchEngine = ''; } log(`🔍 검색 엔진: ${searchEngine}, 검색어: "${searchQuery}"`); } async function startCrawling() { if (isRunning) { alert('이미 크롤링이 진행 중입니다.'); return; } getSearchQueryAndEngine(); if (!searchQuery) { alert('현재 페이지에서 검색어를 찾을 수 없습니다.'); log('⚠️ 검색어 미입력 또는 인식 실패.'); return; } isRunning = true; isPaused = false; currentPage = 1; results = []; visitedLinks.clear(); resultsBody.innerHTML = ''; visitedCountElem.innerText = '0'; elapsedTimeElem.innerText = '00:00:00'; remainingTimeElem.innerText = '00:00:00'; logMessages = []; logContainer.innerHTML = `<strong>로그:</strong><br>`; GM_setValue('crawlerLogs', JSON.stringify(logMessages)); log('✅ 크롤링을 시작합니다.'); updateDuplicateThreshold(); updateRetryAttempts(); updateRetryInterval(); await crawlPage(); startTime = Date.now(); elapsedInterval = setInterval(updateElapsedTime, 1000); } function togglePause() { if (!isRunning) { alert('일시정지/재개할 크롤링이 없습니다.'); return; } isPaused = !isPaused; if (isPaused) { log('⏸️ 크롤링을 일시정지하였습니다.'); pauseBtn.innerText = '▶️ 재개'; } else { log('▶️ 크롤링을 재개하였습니다.'); pauseBtn.innerText = '⏸️ 일시정지'; crawlPage(); } } function stopCrawling() { if (!isRunning) { alert('중지할 크롤링이 없습니다.'); return; } isRunning = false; isPaused = false; pauseBtn.innerText = '⏸️ 일시정지'; clearInterval(elapsedInterval); updateProgress(); log('🚫 크롤링을 중지하였습니다.'); GM_notification({ text: '크롤링이 중지되었습니다.', title: '웹 크롤러 7.5', timeout: 3000 }); } async function crawlPage() { if (!isRunning || isPaused) { return; } // 검색 엔진에 따른 URL 구성 let url = ''; if (searchEngine === 'google') { url = `https://www.google.com/search?q=${encodeURIComponent(searchQuery)}&start=${(currentPage-1)*10}`; } else if (searchEngine === 'bing') { url = `https://www.bing.com/search?q=${encodeURIComponent(searchQuery)}&first=${(currentPage-1)*10 +1}`; } else if (searchEngine === 'daum') { url = `https://search.daum.net/search?q=${encodeURIComponent(searchQuery)}&page=${currentPage}`; } else if (searchEngine === 'naver') { url = `https://search.naver.com/search.naver?query=${encodeURIComponent(searchQuery)}&start=${(currentPage-1)*10 +1}`; } else if (searchEngine === 'yahoo') { url = `https://search.yahoo.com/search?p=${encodeURIComponent(searchQuery)}&b=${(currentPage-1)*10 +1}`; } else if (searchEngine === 'duckduckgo') { url = `https://duckduckgo.com/html/?q=${encodeURIComponent(searchQuery)}&s=${(currentPage-1)*10}`; } else if (searchEngine === 'ecosia') { url = `https://www.ecosia.org/search?q=${encodeURIComponent(searchQuery)}&page=${currentPage}`; } else { alert('지원하지 않는 검색 엔진입니다.'); log('❌ 지원하지 않는 검색 엔진.'); isRunning = false; return; } log(`📄 페이지 ${currentPage} 크롤링 중: ${url}`); GM_xmlhttpRequest({ method: "GET", url: url, headers: { "User-Agent": navigator.userAgent, "Accept": "text/html" }, onload: async function(response) { if (response.status !== 200) { log(`❌ 페이지 ${currentPage} 로드 실패: 상태 ${response.status}`); await handleCrawlError(currentPage, retryAttempts); return; } const parser = new DOMParser(); const doc = parser.parseFromString(response.responseText, 'text/html'); let items = []; if (searchEngine === 'google') { items = doc.querySelectorAll('div.g'); } else if (searchEngine === 'bing') { items = doc.querySelectorAll('li.b_algo'); } else if (searchEngine === 'daum') { items = doc.querySelectorAll('div.wrap_cont'); } else if (searchEngine === 'naver') { items = doc.querySelectorAll('div.basic1'); } else if (searchEngine === 'yahoo') { items = doc.querySelectorAll('div.compTitle'); } else if (searchEngine === 'duckduckgo') { items = doc.querySelectorAll('div.result'); } else if (searchEngine === 'ecosia') { items = doc.querySelectorAll('div.result'); } // 만약 검색 결과가 없다면 크롤링 종료 if (items.length === 0) { log('🔍 더 이상 크롤링할 페이지가 없습니다. 크롤링을 종료합니다.'); isRunning = false; isPaused = false; pauseBtn.innerText = '⏸️ 일시정지'; clearInterval(elapsedInterval); updateProgress(); GM_notification({ text: '크롤링이 완료되었습니다.', title: '웹 크롤러 7.5', timeout: 3000 }); return; } log(`📊 페이지 ${currentPage}에서 ${items.length}개 항목 발견.`); // 병렬 처리: Promise.all을 이용하여 비동기적으로 처리 const itemPromises = Array.from(items).map(async (item) => { let title = 'N/A'; let link = 'N/A'; let description = 'N/A'; let image = 'N/A'; let htmlLink = 'N/A'; let pageLoadTime = 'N/A'; // 각 검색 엔진에 따른 데이터 추출 if (searchEngine === 'google') { const titleElem = item.querySelector('h3'); const linkElem = item.querySelector('a'); const descElem = item.querySelector('.IsZvec') || item.querySelector('.VwiC3b'); if (titleElem) title = titleElem.innerText; if (linkElem) link = linkElem.href; if (descElem) description = descElem.innerText; // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<button class="html-btn" data-url="${encodeURIComponent(link)}">보기</button>`; } } else if (searchEngine === 'bing') { const titleElem = item.querySelector('h2 a'); const descElem = item.querySelector('p'); if (titleElem) { title = titleElem.innerText; link = titleElem.href; } if (descElem) description = descElem.innerText; // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<button class="html-btn" data-url="${encodeURIComponent(link)}">보기</button>`; } } else if (searchEngine === 'daum') { const titleElem = item.querySelector('a.link_fax'); const descElem = item.querySelector('div.cont_inner'); if (titleElem) { title = titleElem.innerText.trim(); link = titleElem.href; } if (descElem) description = descElem.innerText.trim(); // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<button class="html-btn" data-url="${encodeURIComponent(link)}">보기</button>`; } } else if (searchEngine === 'naver') { const titleElem = item.querySelector('a.tit'); const descElem = item.querySelector('div.desc'); if (titleElem) { title = titleElem.innerText; link = titleElem.href; } if (descElem) description = descElem.innerText; // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img.thumb'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<button class="html-btn" data-url="${encodeURIComponent(link)}">보기</button>`; } } else if (searchEngine === 'yahoo') { const titleElem = item.querySelector('h3'); const linkElem = item.querySelector('a'); const descElem = item.querySelector('div.compText'); if (titleElem) title = titleElem.innerText; if (linkElem) link = linkElem.href; if (descElem) description = descElem.innerText; // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<button class="html-btn" data-url="${encodeURIComponent(link)}">보기</button>`; } } else if (searchEngine === 'duckduckgo') { const titleElem = item.querySelector('a.result__a'); const descElem = item.querySelector('a.result__snippet'); if (titleElem) { title = titleElem.innerText; link = titleElem.href; } if (descElem) description = descElem.innerText; // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img.result__thumbnail'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<button class="html-btn" data-url="${encodeURIComponent(link)}">보기</button>`; } } else if (searchEngine === 'ecosia') { const titleElem = item.querySelector('a.result-title'); const descElem = item.querySelector('div.result-description'); if (titleElem) { title = titleElem.innerText; link = titleElem.href; } if (descElem) description = descElem.innerText; // 이미지 가져오기 (가능한 경우) const imgElem = item.querySelector('img.result-image'); if (imgElem && imgElem.src) { image = `<img src="${imgElem.src}" alt="이미지" style="max-width: 80px; max-height: 80px;">`; } // HTML 보기 링크 if (toggleHTML.checked && link !== 'N/A') { htmlLink = `<button class="html-btn" data-url="${encodeURIComponent(link)}">보기</button>`; } } // 광고 제외 기능 적용 if (toggleAds.checked) { const combinedText = `${title} ${description}`.toLowerCase(); const isAd = combinedText.includes('advertisement') || combinedText.includes('광고'); if (isAd) { log(`🚫 광고 항목 제외: "${title}"`); return null; } } // 필터 단어 적용 if (filterPatterns.length > 0) { const combinedText = `${title} ${description}`.toLowerCase(); const isFiltered = filterPatterns.some(regex => regex.test(combinedText)); if (isFiltered) { log(`❌ 필터 단어 포함 항목 제외: "${title}"`); return null; } } // 사이트 필터링 적용 if (siteFilterPatterns.length > 0) { const isSiteFiltered = siteFilterPatterns.some(regex => regex.test(link)); if (isSiteFiltered) { log(`🚫 사이트 필터링에 의해 제외된 항목: "${link}"`); return null; } } // 도메인 추출 const domain = extractDomain(link); if (!domain) return null; // 제외 도메인 검사 if (excludeDomains.includes(domain.toLowerCase())) { log(`🚫 제외 도메인 항목 제외: "${link}"`); return null; } // 엄격 사이트 필터링 적용 if (strictSiteFilter.checked) { if (!siteFilterPatterns.some(regex => regex.test(link))) { log(`🚫 엄격 사이트 필터링에 의해 제외된 항목: "${link}"`); return null; } } // 중복 검사 (도메인별 방문 횟수) let visitCount = visitedLinks.get(domain) || 0; if (visitCount >= duplicateThreshold) { log(`🔄 중복 방문 제한: "${domain}"`); return null; } // 방문 횟수 업데이트 visitedLinks.set(domain, visitCount + 1); visitedCountElem.innerText = visitedLinks.size.toString(); // 페이지 로딩 시간 측정 const loadStart = performance.now(); try { // mode: 'cors'로 변경하여 실제 응답을 받을 수 있도록 함 const fetchResponse = await fetch(link, { mode: 'cors' }); if (fetchResponse.ok) { const loadEnd = performance.now(); pageLoadTime = Math.round(loadEnd - loadStart); } else { pageLoadTime = '응답 불량'; } } catch (err) { pageLoadTime = '계산 불가'; } // HTML 옵션 if (!toggleHTML.checked) { htmlLink = '비활성화'; } // 이미지 옵션 if (!toggleImages.checked) { image = '비활성화'; } const result = { title, link, description, image, htmlLink, pageLoadTime }; results.push(result); // 결과 테이블에 추가 const row = document.createElement('tr'); row.innerHTML = ` <td>${escapeHTML(title)}</td> <td><a href="${escapeHTML(link)}" target="_blank">${escapeHTML(link)}</a></td> <td>${escapeHTML(description)}</td> <td>${image}</td> <td>${htmlLink}</td> <td>${pageLoadTime}</td> `; resultsBody.appendChild(row); return result; }); // Promise.all을 통해 모든 항목 처리 완료 대기 await Promise.all(itemPromises); // 데이터 시각화 업데이트 updateChart(); // 진행률 업데이트 updateProgress(); // 다음 페이지로 이동 currentPage++; currentPageElem.innerText = currentPage; // 대기 시간 추가하여 서버에 부담 주지 않기 setTimeout(() => { crawlPage(); }, isPaused ? 0 : 1500); // 1.5초 대기 }, onerror: function() { log(`❌ 페이지 ${currentPage} 요청 중 오류 발생.`); handleCrawlError(currentPage, retryAttempts); } }); } async function handleCrawlError(page, retriesLeft) { if (retriesLeft > 0 && isRunning) { log(`🔄 페이지 ${page} 재시도 (${retriesLeft}회 남음).`); setTimeout(() => { const url = constructURL(page); GM_xmlhttpRequest({ method: "GET", url: url, headers: { "User-Agent": navigator.userAgent, "Accept": "text/html" }, onload: async function(response) { if (response.status === 200) { log(`✅ 페이지 ${page} 재시도 성공.`); await crawlPage(); } else { await handleCrawlError(page, retriesLeft - 1); } }, onerror: async function() { await handleCrawlError(page, retriesLeft - 1); } }); }, retryInterval); } else { log(`❌ 페이지 ${page} 로드 실패: 최대 재시도 횟수 초과.`); // 크롤링을 중지하지 않고 다음 페이지로 넘어감 currentPage++; currentPageElem.innerText = currentPage; setTimeout(() => { crawlPage(); }, 1500); } } function constructURL(page) { if (searchEngine === 'google') { return `https://www.google.com/search?q=${encodeURIComponent(searchQuery)}&start=${(page-1)*10}`; } else if (searchEngine === 'bing') { return `https://www.bing.com/search?q=${encodeURIComponent(searchQuery)}&first=${(page-1)*10 +1}`; } else if (searchEngine === 'daum') { return `https://search.daum.net/search?q=${encodeURIComponent(searchQuery)}&page=${page}`; } else if (searchEngine === 'naver') { return `https://search.naver.com/search.naver?query=${encodeURIComponent(searchQuery)}&start=${(page-1)*10 +1}`; } else if (searchEngine === 'yahoo') { return `https://search.yahoo.com/search?p=${encodeURIComponent(searchQuery)}&b=${(page-1)*10 +1}`; } else if (searchEngine === 'duckduckgo') { return `https://duckduckgo.com/html/?q=${encodeURIComponent(searchQuery)}&s=${(page-1)*10}`; } else if (searchEngine === 'ecosia') { return `https://www.ecosia.org/search?q=${encodeURIComponent(searchQuery)}&page=${page}`; } else { return ''; } } function updateProgress() { // 무제한이므로 진행률을 페이지 수에 기반하여 표시 const progressPercent = (currentPage % 100) * 1; // 100페이지마다 100%로 리셋 progressBar.value = progressPercent > 100 ? 100 : progressPercent; progressText.innerText = `페이지 ${currentPage}`; if (progressPercent >= 100) { progressBar.value = 0; } } function resetCrawling() { isRunning = false; isPaused = false; currentPage = 1; results = []; visitedLinks.clear(); resultsBody.innerHTML = ''; progressBar.value = 0; progressText.innerText = '0%'; currentPageElem.innerText = '0'; visitedCountElem.innerText = '0'; elapsedTimeElem.innerText = '00:00:00'; remainingTimeElem.innerText = '00:00:00'; logMessages = []; logContainer.innerHTML = `<strong>로그:</strong><br>`; GM_setValue('crawlerLogs', JSON.stringify(logMessages)); // 차트 초기화 crawlData.labels = []; crawlData.datasets[0].data = []; if (crawlChart) { crawlChart.update(); } clearInterval(elapsedInterval); log('🔄 크롤링을 초기화하였습니다.'); } function exportResults() { if (results.length === 0) { alert('내보낼 결과가 없습니다.'); return; } const format = prompt('내보낼 형식을 선택하세요 (xlsx, csv, json):', 'xlsx'); if (!format) return; if (format.toLowerCase() === 'xlsx') { const ws = XLSX.utils.json_to_sheet(results); const wb = XLSX.utils.book_new(); XLSX.utils.book_append_sheet(wb, ws, "결과"); XLSX.writeFile(wb, "크롤링_결과.xlsx"); log('💾 결과를 "크롤링_결과.xlsx" 파일로 내보냈습니다.'); GM_notification({ text: '결과를 "크롤링_결과.xlsx" 파일로 내보냈습니다.', title: '웹 크롤러 7.5', timeout: 3000 }); } else if (format.toLowerCase() === 'csv') { const csv = results.map(row => `"${row.title}","${row.link}","${row.description}","${row.image}","${row.htmlLink}","${row.pageLoadTime}"`).join('\n'); const blob = new Blob([csv], { type: 'text/csv;charset=utf-8;' }); const url = URL.createObjectURL(blob); const a = document.createElement('a'); a.href = url; a.download = '크롤링_결과.csv'; a.click(); log('💾 결과를 "크롤링_결과.csv" 파일로 내보냈습니다.'); GM_notification({ text: '결과를 "크롤링_결과.csv" 파일로 내보냈습니다.', title: '웹 크롤러 7.5', timeout: 3000 }); } else if (format.toLowerCase() === 'json') { const json = JSON.stringify(results, null, 2); const blob = new Blob([json], { type: 'application/json;charset=utf-8;' }); const url = URL.createObjectURL(blob); const a = document.createElement('a'); a.href = url; a.download = '크롤링_결과.json'; a.click(); log('💾 결과를 "크롤링_결과.json" 파일로 내보냈습니다.'); GM_notification({ text: '결과를 "크롤링_결과.json" 파일로 내보냈습니다.', title: '웹 크롤러 7.5', timeout: 3000 }); } else { alert('지원하지 않는 형식입니다.'); } } function escapeHTML(str) { if (!str) return ''; return str.replace(/&/g, "&") .replace(/</g, "<") .replace(/>/g, ">") .replace(/"/g, """) .replace(/'/g, "'"); } function extractDomain(url) { try { const urlObj = new URL(url); return urlObj.hostname.replace('www.', ''); } catch (e) { return null; } } function updateElapsedTime() { if (!startTime) return; const now = Date.now(); const elapsed = Math.floor((now - startTime) / 1000); elapsedTimeElem.innerText = formatTime(elapsed); const estimatedTotal = currentPage * 1.5; // 예측: 각 페이지 1.5초 const remaining = Math.max(estimatedTotal - elapsed, 0); remainingTimeElem.innerText = formatTime(remaining); } function formatTime(seconds) { const hrs = String(Math.floor(seconds / 3600)).padStart(2, '0'); const mins = String(Math.floor((seconds % 3600) / 60)).padStart(2, '0'); const secs = String(seconds % 60).padStart(2, '0'); return `${hrs}:${mins}:${secs}`; } function updateChart() { crawlData.labels = Array.from(visitedLinks.keys()); crawlData.datasets[0].data = Array.from(visitedLinks.values()); if (crawlChart) { crawlChart.update(); } // 저장 GM_setValue('crawlerData', JSON.stringify(crawlData)); } function loadCrawlData() { const storedData = GM_getValue('crawlerData', null); if (storedData) { const parsedData = JSON.parse(storedData); crawlData = parsedData; if (crawlChart) { crawlChart.data = crawlData; crawlChart.update(); } } } function saveCrawlData() { GM_setValue('crawlerData', JSON.stringify(crawlData)); } // 주기적으로 크롤링 데이터를 저장 setInterval(saveCrawlData, 5000); // 검색 엔진 바로 가기 버튼 기능 function openSearchEngines() { const engineUrls = { 'Google': 'https://www.google.com/', 'Bing': 'https://www.bing.com/', 'Daum': 'https://www.daum.net/', 'Naver': 'https://www.naver.com/', 'Yahoo': 'https://www.yahoo.com/', 'DuckDuckGo': 'https://duckduckgo.com/', 'Ecosia': 'https://www.ecosia.org/' }; let html = '📡 <strong>검색 엔진:</strong><br>'; for (const [name, url] of Object.entries(engineUrls)) { html += `<button class="search-engine-btn" data-url="${url}">${name}</button><br>`; } // 팝업 생성 const popup = document.createElement('div'); popup.className = 'preview-popup'; popup.innerHTML = html; container.appendChild(popup); popup.style.display = 'block'; // 버튼 이벤트 리스너 popup.querySelectorAll('.search-engine-btn').forEach(btn => { btn.addEventListener('click', () => { window.open(btn.getAttribute('data-url'), '_blank'); popup.style.display = 'none'; }); }); // 외부 클릭 시 팝업 닫기 document.addEventListener('click', function(event) { if (!popup.contains(event.target) && event.target !== searchEnginesBtn) { popup.style.display = 'none'; } }, { once: true }); } // HTML 버튼 클릭 및 호버 기능 추가 container.addEventListener('click', function(event) { if (event.target.classList.contains('html-btn')) { const url = decodeURIComponent(event.target.getAttribute('data-url')); showHTMLInUI(url); } }); container.addEventListener('mouseover', function(event) { if (event.target.classList.contains('html-btn')) { const url = decodeURIComponent(event.target.getAttribute('data-url')); showPreviewPopup(event.target, url); } }); container.addEventListener('mouseout', function(event) { if (event.target.classList.contains('html-btn')) { const popup = container.querySelector('.preview-popup'); if (popup) { popup.style.display = 'none'; } } }); function showHTMLInUI(url) { // UI 내에 iframe을 사용하여 사이트 내용 표시 let iframe = container.querySelector('.html-display'); if (!iframe) { iframe = document.createElement('iframe'); iframe.className = 'html-display'; iframe.style.width = '100%'; iframe.style.height = '400px'; iframe.style.border = '1px solid #4CAF50'; iframe.style.marginTop = '10px'; container.appendChild(iframe); } iframe.src = url; // 탭을 '결과'로 전환 switchTab('results'); } function showPreviewPopup(target, url) { // 팝업 생성 let popup = container.querySelector('.preview-popup'); if (!popup) { popup = document.createElement('div'); popup.className = 'preview-popup'; container.appendChild(popup); } popup.style.display = 'block'; popup.style.left = `${target.offsetLeft}px`; popup.style.top = `${target.offsetTop + target.offsetHeight + 5}px`; popup.innerHTML = `<iframe src="${url}" style="width:100%; height:100%; border:none;"></iframe>`; } function switchTab(tabId) { const tabs = container.querySelectorAll('.tab'); const tabContents = container.querySelectorAll('.tab-content'); tabs.forEach(t => { if(t.getAttribute('data-tab') === tabId){ t.classList.add('active'); } else { t.classList.remove('active'); } }); tabContents.forEach(content => { if(content.id === tabId){ content.classList.add('active'); } else { content.classList.remove('active'); } }); } })();추가된 기능 설명:
-
사이트 필터 탭 추가:
- 탭 메뉴에 새로운 "사이트 필터" 탭을 추가하였습니다.
- 사용자 정의 사이트 필터링을 위한 입력 필드를 제공하여 더 정교한 필터링이 가능합니다.
-
엄격 사이트 필터링 토글 추가:
- 옵션 섹션에 "엄격 사이트 필터링"을 켜고 끌 수 있는 스위치를 추가했습니다.
- 이 기능을 활성화하면, 사이트 필터 패턴과 일치하지 않는 모든 사이트가 자동으로 제외됩니다.
-
검색 엔진 바로 가기 버튼 추가:
- 설정 탭에 "검색 엔진 바로가기" 버튼을 추가했습니다.
- 버튼을 클릭하면 다양한 검색 엔진의 버튼이 나타나며, 클릭 시 해당 검색 엔진으로 이동합니다.
-
검색 엔진 다양화:
- 기존의 Google, Bing, Daum, Naver, Yahoo 외에도 DuckDuckGo와 Ecosia를 추가로 지원합니다.
@match메타데이터에 새로운 검색 엔진 URL을 추가하여 다양한 검색 결과 페이지에서 스크립트가 동작할 수 있도록 했습니다.
-
HTML 보기 버튼 개선:
- 결과 테이블의 HTML 보기 버튼을 클릭하면 크롤러 UI 내에 iframe을 생성하여 해당 사이트의 내용을 직접 표시합니다.
- HTML 보기 버튼에 마우스를 가져다 대면 해당 사이트의 미리보기가 작은 iframe으로 팝업됩니다.
-
코드 최적화 및 안정성 개선:
- 크롤링 로직을 최적화하여 성능을 향상시켰습니다.
- 에러 핸들링을 강화하여 크롤링 중 발생할 수 있는 다양한 예외 상황을 보다 안정적으로 처리할 수 있습니다.
사용 방법:
-
스크립트 설치:
- 위의 코드 블록을 복사하여 Tampermonkey의 새로운 스크립트로 붙여넣기 합니다.
- 스크립트를 저장한 후, 해당 검색 엔진의 검색 결과 페이지에서 스크립트가 자동으로 활성화됩니다.
-
크롤링 시작:
- 검색 결과 페이지에서 스크립트 UI가 오른쪽 상단에 나타납니다.
- "시작" 버튼을 클릭하여 크롤링을 시작합니다.
-
옵션 설정:
- 필터 단어, 제외 도메인, 사이트 필터 패턴 등을 설정하여 원하는 방식으로 크롤링을 제어할 수 있습니다.
- 엄격 사이트 필터링을 활성화하여 더 정교한 필터링을 적용할 수 있습니다.
-
결과 확인 및 내보내기:
- "결과" 탭에서 크롤링된 결과를 테이블 형태로 확인할 수 있습니다.
- "내보내기" 버튼을 클릭하여 결과를 XLSX, CSV, JSON 형식으로 내보낼 수 있습니다.
-
HTML 보기 기능:
- 결과 테이블의 "HTML 링크" 버튼을 클릭하여 해당 사이트의 내용을 UI 내에서 직접 확인할 수 있습니다.
- 버튼에 마우스를 올려놓으면 사이트의 미리보기가 팝업으로 표시됩니다.
-
검색 엔진 바로 가기:
- 설정 탭에서 "검색 엔진 바로가기" 버튼을 클릭하여 다양한 검색 엔진으로 빠르게 이동할 수 있습니다.
참고 사항:
- CORS 이슈: 일부 사이트는 CORS 정책으로 인해 크롤링이 제한될 수 있습니다. 이 경우, 해당 사이트의 데이터를 불러오는 데 실패할 수 있습니다.
- 검색 엔진의 HTML 구조 변화: 검색 엔진의 HTML 구조가 변경되면 스크립트가 제대로 작동하지 않을 수 있습니다. 이 경우, 스크립트를 업데이트하여 새로운 구조에 맞게 조정해야 합니다.
- 성능 고려: 무제한 페이지 크롤링은 시간이 오래 걸릴 수 있으며, 너무 많은 요청을 보내면 서버에 부담을 줄 수 있습니다. 적절한 페이지 수와 요청 간 간격을 유지하는 것이 좋습니다.
필요하신 추가 기능이나 개선 사항이 있으시면 언제든지 말씀해주세요!
-