탬퍼몽키 이 스크립트를 만들고 싶은데 내가 생각한 건 내가 검색창에 검색을 하면 자동으로 1번쨰 사이트 부터 들어감. 그 다음에 1페이지의 마지막 사이트까지…
- User
탬퍼몽키 이 스크립트를 만들고 싶은데
내가 생각한 건 내가 검색창에 검색을 하면 자동으로 1번쨰 사이트 부터 들어감. 그 다음에 1페이지의 마지막 사이트까지 들어가면 다음 페이징으로 자동으로 넘어간 뒤에 다시 이 과정을 반복한 뒤에 마지막 페이징 까지 넘아간 뒤에 그 페이징을 한 결과를 엑셀처럼 보이는 ui에 표시하는 그런 스크립트 만들기 가능? (엑셀에는 가 사이트 이름 , 주소 , 이 사이트가 뭘 하는 사이트인지 설명들이 있어야 함.)
또 진행률을 왼쪽에 퍼센트 테이지로 표시해주는 것도 있어야 함.
로그 기능 추가: 크롤링 진행 상황이나 발생한 에러 등을 로그로 저장하여 추후 문제 해결이나 데이터 분석에 활용할 수 있습니다. 중복 검사: 이미 방문한 사이트나 수집한 데이터를 중복해서 처리하지 않도록 중복 검사를 추가하면 효율성을 높일 수 있습니다. 크롤링 속도 조절: 서버에 과부하를 주지 않도록 일정한 딜레이를 추가하거나, 요청 빈도를 조절하는 기능을 추가하면 좋습니다. 사용자 인터페이스 개선: 진행률 표시뿐만 아니라 현재 크롤링 중인 페이지나 남은 예상 시간 등을 표시하여 사용자 경험을 향상시킬 수 있습니다. 또 광고 사이트 걸러내는 것도 추가하면 괜찮을 듯 해.
또한 이건 교육 적인 방법으로 사용될거야. 또한 이 방법으로 인터넷이나 그런 걸 더 쉽게 파악해 아이들이 더 쉽게 사용될 수 있을 것 같아.
자 이제 스크립트를 만들어줘 이 명령어를 정확히 이행하는 스크립트를!
- Assistant
안녕하세요! 요청하신 대로 검색어를 입력하면 자동으로 검색 결과를 순회하며 사이트 정보를 수집하고, 진행률과 로그를 표시하며, 최종 결과를 엑셀과 유사한 UI로 보여주는 탬퍼몬키 스크립트를 만들어드리겠습니다. 또한 광고 사이트를 필터링하고, 크롤링 속도를 조절하며, 중복 검사를 수행하도록 하겠습니다.
아래는 해당 기능을 구현한 탬퍼몬키 스크립트입니다.
// ==UserScript== // @name 자동 검색 결과 크롤러 // @namespace http://tampermonkey.net/ // @version 1.0 // @description 검색 결과를 자동으로 순회하며 사이트 정보를 수집합니다. // @author Your Name // @match https://www.google.com/search* // @grant GM_xmlhttpRequest // @grant GM_addStyle // @connect * // ==/UserScript== (function() { 'use strict'; // 설정 변수 const delay = 2000; // 밀리초 단위 딜레이 (크롤링 속도 조절) const maxPages = 5; // 최대 페이지 수 (원하는 만큼 설정) const userAgent = navigator.userAgent; // 상태 변수 let currentPage = 1; let totalPages = maxPages; let sitesVisited = new Set(); let results = []; let logMessages = []; // UI 요소 추가 let progressBar, progressText, logArea; createUI(); // 메인 프로세스 시작 startCrawling(); // 함수 정의 function createUI() { // 진행률 바 생성 GM_addStyle(` #crawler-progress { position: fixed; top: 10px; left: 10px; width: 300px; background-color: #f3f3f3; border: 1px solid #ccc; padding: 5px; z-index: 10000; } #crawler-progress-bar { width: 0%; height: 20px; background-color: #4caf50; } #crawler-log { position: fixed; top: 70px; left: 10px; width: 300px; height: 200px; overflow-y: scroll; background-color: #fff; border: 1px solid #ccc; padding: 5px; z-index: 10000; font-size: 12px; } `); let container = document.createElement('div'); container.id = 'crawler-progress'; progressText = document.createElement('div'); progressText.innerText = '진행률: 0%'; progressBar = document.createElement('div'); progressBar.id = 'crawler-progress-bar'; container.appendChild(progressText); container.appendChild(progressBar); document.body.appendChild(container); // 로그 영역 생성 logArea = document.createElement('div'); logArea.id = 'crawler-log'; logArea.innerText = '로그:\n'; document.body.appendChild(logArea); } function updateProgress(percent) { progressBar.style.width = percent + '%'; progressText.innerText = `진행률: ${percent.toFixed(2)}%`; } function addLog(message) { let timestamp = new Date().toLocaleTimeString(); let logMessage = `[${timestamp}] ${message}`; logMessages.push(logMessage); logArea.innerText += logMessage + '\n'; logArea.scrollTop = logArea.scrollHeight; } function startCrawling() { addLog('크롤링 시작'); crawlPage(); } function crawlPage() { if (currentPage > totalPages) { addLog('크롤링 완료'); displayResults(); return; } addLog(`${currentPage}페이지 처리 중...`); // 검색 결과 항목 가져오기 let links = Array.from(document.querySelectorAll('a')).filter(a => a.href.startsWith('http')); let index = 0; function visitNextLink() { if (index >= links.length) { // 다음 페이지로 이동 let nextButton = document.querySelector('#pnnext'); if (nextButton) { currentPage++; nextButton.click(); setTimeout(crawlPage, delay); } else { addLog('더 이상 다음 페이지가 없습니다.'); displayResults(); } return; } let link = links[index]; index++; // 광고 링크 필터링 (예: 'Ad' 라벨이 있는 링크 제외) if (link.closest('.ads-ad') || link.closest('.ad_cclk')) { addLog('광고 링크 건너뜀'); visitNextLink(); return; } // 중복 검사 if (sitesVisited.has(link.href)) { addLog(`중복된 사이트 건너뜀: ${link.href}`); visitNextLink(); return; } sitesVisited.add(link.href); // 사이트 방문 및 정보 수집 addLog(`사이트 방문 중: ${link.href}`); GM_xmlhttpRequest({ method: 'GET', url: link.href, headers: { 'User-Agent': userAgent }, onload: function(response) { let parser = new DOMParser(); let doc = parser.parseFromString(response.responseText, 'text/html'); let title = doc.querySelector('title') ? doc.querySelector('title').innerText : '제목 없음'; let descriptionMeta = doc.querySelector('meta[name="description"]'); let description = descriptionMeta ? descriptionMeta.content : '설명 없음'; results.push({ name: title, url: link.href, description: description }); // 진행률 업데이트 let percent = (sitesVisited.size / (links.length * totalPages)) * 100; updateProgress(percent); // 딜레이 후 다음 링크로 이동 setTimeout(visitNextLink, delay); }, onerror: function(error) { addLog(`에러 발생: ${error}`); setTimeout(visitNextLink, delay); } }); } visitNextLink(); } function displayResults() { // 결과 표시 UI 생성 let resultWindow = window.open('', '크롤링 결과', 'width=800,height=600'); let doc = resultWindow.document; doc.write('<html><head><title>크롤링 결과</title></head><body>'); doc.write('<h1>크롤링 결과</h1>'); doc.write('<table border="1" cellspacing="0" cellpadding="5">'); doc.write('<tr><th>사이트 이름</th><th>URL</th><th>설명</th></tr>'); results.forEach(item => { doc.write(`<tr><td>${item.name}</td><td><a href="${item.url}" target="_blank">${item.url}</a></td><td>${item.description}</td></tr>`); }); doc.write('</table>'); doc.write('</body></html>'); doc.close(); } })();스크립트 설명
-
설정 변수
delay: 각 요청 사이의 딜레이를 설정하여 서버에 과부하를 주지 않도록 합니다.maxPages: 크롤링할 최대 페이지 수를 설정합니다.userAgent: 사용자 에이전트를 설정하여 요청 시 사용합니다.
-
상태 변수
currentPage: 현재 페이지 번호를 추적합니다.totalPages: 총 페이지 수를 저장합니다.sitesVisited: 이미 방문한 사이트의 URL을 저장하여 중복을 방지합니다.results: 수집된 사이트 정보를 저장합니다.logMessages: 로그 메시지를 저장합니다.
-
UI 요소
- 진행률 바와 로그 영역을 생성하여 크롤링 진행 상황과 로그를 실시간으로 표시합니다.
-
크롤링 기능
- 검색 결과 페이지에서 검색 결과 링크를 수집합니다.
- 광고 링크를 필터링합니다.
- 이미 방문한 사이트는 건너뜁니다.
- 각 사이트를 방문하여 제목과 메타 설명을 수집합니다.
- 진행률을 업데이트하고 로그를 남깁니다.
- 지정한 딜레이 후에 다음 사이트로 이동합니다.
- 현재 페이지의 모든 사이트를 방문하면 다음 페이지로 이동하여 동일한 작업을 수행합니다.
-
결과 표시
- 크롤링이 완료되면 새로운 창을 열어 수집된 사이트 정보를 표 형태로 표시합니다.
사용 방법
-
스크립트 설치
- 위의 스크립트를 복사하여 탬퍼몬키에 새 스크립트로 추가합니다.
-
검색 수행
- 구글 검색 페이지(예:
https://www.google.com/)에서 검색어를 입력하고 검색합니다.
- 구글 검색 페이지(예:
-
크롤링 시작
- 스크립트는 검색 결과 페이지에서 자동으로 실행되어 크롤링을 시작합니다.
-
진행 모니터링
- 좌측 상단에 진행률 바와 로그 창이 표시됩니다.
- 진행 상황과 로그를 확인할 수 있습니다.
-
결과 확인
- 크롤링이 완료되면 새로운 창이 열리며, 수집된 사이트 정보가 표로 표시됩니다.
추가 고려 사항
-
크롤링 속도 조절
delay변수를 조절하여 요청 사이의 대기 시간을 변경할 수 있습니다.- 서버에 과부하를 주지 않도록 충분한 딜레이를 설정하는 것이 좋습니다.
-
최대 페이지 수 조절
maxPages변수를 변경하여 크롤링할 페이지 수를 조절할 수 있습니다.
-
광고 필터링 개선
- 광고 링크의 CSS 클래스나 구조는 변경될 수 있으므로 필요에 따라 필터링 조건을 수정해야 합니다.
-
에러 핸들링
- 네트워크 오류나 다른 예외 상황에 대한 에러 처리를 추가로 개선할 수 있습니다.
-
교육적 활용
- 이 스크립트는 아이들이 인터넷을 탐색하고 웹 크롤링의 기본 개념을 이해하는 데 도움이 될 수 있습니다.
- 실제 사용 시에는 윤리적 고려사항과 각 웹사이트의 이용 약관을 준수해야 합니다.
주의사항
-
법적 및 윤리적 고려사항
- 무분별한 웹 크롤링은 법적 문제가 될 수 있으며, 사이트의 이용 약관을 위반할 수 있습니다.
- 교육 목적 이외의 사용은 지양하시기 바랍니다.
- 크롤링을 허용하지 않는 사이트를 방문하거나, 과도한 요청으로 서버에 부하를 주지 않도록 주의하세요.
-
개인정보 보호
- 개인정보를 수집하거나 침해하지 않도록 스크립트를 사용하시기 바랍니다.
-
업데이트 필요성
- 웹사이트의 구조나 요소가 변경될 수 있으므로, 스크립트가 동작하지 않을 경우 코드를 업데이트해야 할 수 있습니다.
필요에 맞게 스크립트를 수정하여 사용하시기 바랍니다. 추가로 궁금한 점이나 도움이 필요하시면 언제든지 말씀해주세요!
-