// ==UserScript== // @name 검색 결과 자동 수집기 // @namespace http://tampermonkey.net/ //…
- User
// ==UserScript== // @name 검색 결과 자동 수집기 // @namespace http://tampermonkey.net/ // @version 1.0 // @description 검색 결과를 자동으로 방문하고 데이터를 수집하는 스크립트입니다. // @author
// @match https://www.google.com/search* // @grant none // ==/UserScript==(function() { 'use strict';
// 사용자 설정 const settings = { delayBetweenRequests: 2000, // 요청 사이의 딜레이 (밀리초) maxPages: 5, // 방문할 최대 페이지 수 }; // 변수 초기화 let currentPage = 1; let totalPages = settings.maxPages; let visitedUrls = new Set(); let data = []; let isCollecting = false; // UI 생성 function createUI() { const uiContainer = document.createElement('div'); uiContainer.id = 'script-ui'; uiContainer.style.position = 'fixed'; uiContainer.style.top = '10px'; uiContainer.style.right = '10px'; uiContainer.style.padding = '10px'; uiContainer.style.backgroundColor = 'white'; uiContainer.style.border = '1px solid #ccc'; uiContainer.style.zIndex = '9999'; const progressLabel = document.createElement('div'); progressLabel.id = 'progress-label'; progressLabel.textContent = '진행률: 0%'; const dataTable = document.createElement('table'); dataTable.id = 'data-table'; dataTable.style.width = '100%'; dataTable.style.borderCollapse = 'collapse'; const headerRow = document.createElement('tr'); const headers = ['사이트 이름', '주소', '설명']; headers.forEach(text => { const th = document.createElement('th'); th.textContent = text; th.style.border = '1px solid #ccc'; th.style.padding = '5px'; headerRow.appendChild(th); }); dataTable.appendChild(headerRow); uiContainer.appendChild(progressLabel); uiContainer.appendChild(dataTable); document.body.appendChild(uiContainer); } // 진행률 업데이트 function updateProgress() { const progressLabel = document.getElementById('progress-label'); const percent = Math.min(((currentPage - 1) / totalPages) * 100, 100).toFixed(2); progressLabel.textContent = `진행률: ${percent}% (페이지 ${currentPage}/${totalPages})`; } // 데이터 테이블 업데이트 function updateDataTable() { const dataTable = document.getElementById('data-table'); // 기존 행 삭제 while (dataTable.rows.length > 1) { dataTable.deleteRow(1); } // 데이터 추가 data.forEach(item => { const row = dataTable.insertRow(); const nameCell = row.insertCell(); const urlCell = row.insertCell(); const descCell = row.insertCell(); nameCell.textContent = item.name; urlCell.textContent = item.url; descCell.textContent = item.description; [nameCell, urlCell, descCell].forEach(cell => { cell.style.border = '1px solid #ccc'; cell.style.padding = '5px'; }); }); } // 광고 사이트 검사 (간단한 예시로 구현) function isAdSite(url) { const adKeywords = ['ads', 'advertisement', 'sponsored']; return adKeywords.some(keyword => url.includes(keyword)); } // 로그 저장 function log(message) { console.log(`[로그]: ${message}`); // 필요한 경우 로그를 서버나 파일에 저장하도록 구현할 수 있습니다. } // 사이트 정보 수집 async function collectSiteInfo(links) { for (let i = 0; i < links.length; i++) { const link = links[i]; const url = link.href; // 중복 및 광고 사이트 검사 if (visitedUrls.has(url) || isAdSite(url)) { log(`건너뜀: ${url}`); continue; } visitedUrls.add(url); try { // 사이트 방문 및 정보 수집 const response = await fetch(url); const htmlText = await response.text(); const parser = new DOMParser(); const doc = parser.parseFromString(htmlText, 'text/html'); const title = doc.querySelector('title') ? doc.querySelector('title').innerText : '제목 없음'; const descriptionMeta = doc.querySelector('meta[name="description"]'); const description = descriptionMeta ? descriptionMeta.content : '설명 없음'; data.push({ name: title, url: url, description: description, }); updateDataTable(); log(`수집 완료: ${url}`); // 딜레이 추가 await new Promise(resolve => setTimeout(resolve, settings.delayBetweenRequests)); } catch (error) { log(`에러 발생: ${url} - ${error.message}`); } } } // 다음 페이지로 이동 function goToNextPage() { const nextButton = document.querySelector('#pnnext'); if (nextButton && currentPage < totalPages) { currentPage++; updateProgress(); nextButton.click(); } else { isCollecting = false; log('수집 완료'); } } // 수집 프로세스 시작 async function startCollecting() { if (isCollecting) return; isCollecting = true; while (isCollecting) { updateProgress(); const links = Array.from(document.querySelectorAll('a')).filter(a => a.href && a.href.startsWith('http')); await collectSiteInfo(links); goToNextPage(); await new Promise(resolve => setTimeout(resolve, 2000)); // 페이지 로딩 대기 } } // UI 생성 및 수집 시작 createUI(); startCollecting();})(); 이 코드에서 정령 문제가 없다 생각하니? 문제가 있지 않겠니?
- Assistant
안녕하세요. 제공해주신 코드에 몇 가지 문제가 있습니다.
-
구글의 서비스 약관 위반: 이 스크립트는 구글 검색 결과 페이지에서 자동으로 데이터를 수집하고 다음 페이지로 이동합니다. 구글의 서비스 약관에서는 자동화된 방법으로 검색 결과를 스크래핑하거나 크롤링하는 것을 허용하지 않습니다. 이러한 행동은 서비스 약관을 위반하는 것이며, 계정 차단 등의 제재를 받을 수 있습니다.
-
크로스 도메인 요청(CORS) 문제:
fetch를 사용하여 다른 도메인의 URL에 접속하려고 하면, 브라우저의 동일 출처 정책(Same-Origin Policy)에 의해 차단될 수 있습니다. 이는 보안상의 이유로 브라우저가 다른 도메인으로의 요청을 제한하기 때문입니다. -
사용자 경험 및 보안 이슈: 자동으로 링크를 방문하고 데이터를 수집하는 것은 의도치 않은 사이트에 접속하거나, 악성 코드에 노출될 위험이 있습니다. 또한 이러한 방식으로 데이터를 수집하면 대상 사이트에 과도한 트래픽을 유발하여 서비스 거부(DoS) 공격으로 인식될 수 있습니다.
-
에러 및 예외 처리 부족: 스크립트에서 발생할 수 있는 다양한 예외 상황에 대한 처리가 부족합니다. 예를 들어,
fetch요청이 실패하거나, 예상치 못한 응답을 받을 경우 이에 대한 처리 로직이 필요합니다. -
프라이버시 및 윤리적 문제: 자동화된 데이터 수집은 대상 웹사이트의 프라이버시 정책을 위반할 수 있으며, 윤리적인 문제를 야기할 수 있습니다.
이러한 이유들로 인해, 해당 코드를 사용하는 것은 권장되지 않습니다. 데이터 수집이 필요한 경우, 대상 사이트의 API를 사용하거나, 해당 사이트의 허락을 받은 후에 진행하시는 것을 추천드립니다. 또한, 웹 스크래핑을 할 때에는 반드시 해당 사이트의 서비스 약관과 로봇 배제 표준(
robots.txt)을 준수해야 합니다.필요하신 부분에 대해 추가적인 설명이나 도움이 필요하시다면 언제든지 말씀해주세요.
-