بلغة بايثون اكتب سكريبت يقوم بعمل سكراب على اول عنصر من الصفحة بشرط أن لايتم تكراره في…
- User
بلغة بايثون اكتب سكريبت يقوم بعمل سكراب على اول عنصر من الصفحة بشرط أن لايتم تكراره في القادم أضن أنه في جدول هذا مثال على اول عنصر من صفحة html
- Assistant
لكتابة سكريبت باستخدام Python لإجراء سكرابينج على أول عنصر في صفحة HTML بحيث لا يتم تكراره، يمكن استخدام المكتبات مثل
requestsلطلب الصفحة وBeautifulSoupلتحليل محتويات الصفحة واستخراج العناصر.بما أن أهداف السكرابينج يمكن أن تكون متنوعة، ولكن حسب المثال الذي قدمته، سأكتب لك سكريبت يقوم بجلب أول عنصر من النوع
<td>التي تحتوي على عنصر<a>وعنصر<span>بالصنفscorerوعرض النص المرتبط بالعناصر المحددة، ثم يتأكد من عدم تكرار ذلك العنصر في المرات القادمة عند تشغيل السكريبت مرة أخرى.أولًا، يمكن تثبيت المكتبات اللازمة باستخدام pip:
pip install requests beautifulsoup4الآن، هذا هو السكريبت الخاص بسكرابينج البيانات:
import requests from bs4 import BeautifulSoup # رابط الصفحة التي نريد إجراء السكرابينج عليها URL = "https://www.footballwebpages.co.uk/vidiprinter" # يستخدم لتخزين العنصر السابق لتجنب التكرار last_element = None # تعريف دالة لإجراء السكرابينج def scrape_first_element(url): global last_element # إرسال طلب GET للموقع response = requests.get(url) # تحليل الصفحة باستخدام BeautifulSoup soup = BeautifulSoup(response.content, 'html.parser') # البحث عن أول عنصر td الذي يحتوي على a و span بصنف scorer first_element = soup.find('td').find('a').find('span', class_='scorer') # إذا تم العثور على عنصر ولم يكن هو نفسه العنصر السابق if first_element and (first_element != last_element): last_element = first_element # تخزين العنصر لتجنب التكرار # استرجاع نص العنصر return first_element.get_text(strip=True) else: return "No new element or element is a duplicate" # استدعاء الدالة وعرض النتائج result = scrape_first_element(URL) print(result)قم بتشغيل هذا السكريبت وسوف يقوم بعرض النص داخل أول
<span class="scorer">الموجود داخل أول رابط<a>الواقع ضمن<td>. إذا قمت بتشغيل السكريبت مرة أخرى وكان العنصر أولًا وذاته، سيُعلمك بأنه لا يوجد عنصر جديد أو أن العنصر مكرر.يرجى ملاحظة أن القيام بالسكرابينج على الصفحات قد يخترق قواعد وأنظمة الصفحة الهدف، لذا من المهم الالتزام بسياسات وشروط الاستخدام للموقع قبل البدء بأي عملية سكرابينج.
- User
أضن أن العنصر في جدول
- Assistant
إذا كان العنصر الذي تريد الحصول عليه يقع داخل جدول، فإن السكريبت يجب أن يستهدف أول عنصر
<td>ضمن أول صف<tr>في هذا الجدول. سأقوم بتعديل السكريبت ليعكس هذا السيناريو.هنا سكريبت معدل يأخذ بالحسبان هذا الأمر:
import requests from bs4 import BeautifulSoup # رابط الصفحة التي نريد إجراء السكرابينج عليها URL = "https://www.footballwebpages.co.uk/vidiprinter" # قد يتغير هذا المتغير حسب العنصر الذي تم الحصول عليه في المرة الأخيرة # يجب تخزينه في ملف أو قاعدة بيانات إذا كنت تريد الاحتفاظ بالحالة بين جلسات التشغيل المختلفة last_element_text = None # تعريف دالة لإجراء السكرابينج def scrape_first_unique_element(url, last_seen_text): global last_element_text # إرسال طلب GET للموقع response = requests.get(url) # تحليل الصفحة باستخدام BeautifulSoup soup = BeautifulSoup(response.text, 'html.parser') # البحث عن أول صف <tr> في الجدول first_tr = soup.find('tr') if first_tr: # البحث عن أول عنصر td يحتوي على رابط داخل الصف الأول first_td = first_tr.find('td') if first_td: scorer_span = first_td.find('span', class_='scorer') # التحقق من النص الخاص بعنصر span بالصنف scorer if scorer_span and scorer_span.text != last_seen_text: last_element_text = scorer_span.text return scorer_span.text else: # إذا لم يتغير النص، يعني أن العنصر مكرر return "No new element or element is a duplicate" return "Element not found" # استدعاء الدالة وعرض النتائج result = scrape_first_unique_element(URL, last_element_text) print(result)يرجى ملاحظة ما يلي:
- إذا كنت ترغب في حفظ الحالة بين جلسات التشغيل المختلفة (أي تذكر العنصر الأخير الذي تم الحصول عليه)، ستحتاج إلى تخزين
last_element_textفي ملف خارجي أو قاعدة بيانات بدلاً من استخدام متغير Python العادي الذي سيتم إعادة تعيينه في كل مرة يتم فيها تشغيل البرنامج. - إذا كان هناك العديد من الجداول في الصفحة وتريد استهداف جدول محدد، قد تحتاج إلى تحسين السكريبت ليعكس ذلك عن طريق إضافة معايير تحديد مثل الطبقة أو معرف الجدول.
- هذا السكريبت يعتمد على الهيكل الحالي لصفحة الويب، إذا تغيرت الصفحة فقد تحتاج إلى تحديث معايير البحث في السكريبت.
- إذا كنت ترغب في حفظ الحالة بين جلسات التشغيل المختلفة (أي تذكر العنصر الأخير الذي تم الحصول عليه)، ستحتاج إلى تخزين