làm sao để đếm danh sách link trong file csv nhỉ
- User
làm sao để đếm danh sách link trong file csv nhỉ
- Assistant
Để đếm số lượng đường liên kết (link) trong một tệp CSV, bạn có thể sử dụng một ngôn ngữ lập trình như Python, kết hợp với thư viện pandas hoặc csv để đọc tệp và thực hiện việc đếm. Dưới đây là một ví dụ đơn giản sử dụng Python:
Sử dụng thư viện csv
import csv # Đường dẫn đến tệp CSV của bạn file_path = 'your_file.csv' def count_links_in_csv(file_path): count = 0 with open(file_path, mode='r', encoding='utf-8') as file: csv_reader = csv.reader(file) for row in csv_reader: for column in row: # Giả sử link là một đoạn text bắt đầu bằng 'http://' hoặc 'https://' if column.startswith('http://') or column.startswith('https://'): count += 1 return count link_count = count_links_in_csv(file_path) print(f'Số lượng link trong tệp CSV: {link_count}')Sử dụng thư viện pandas
import pandas as pd # Đường dẫn đến tệp CSV của bạn file_path = 'your_file.csv' def count_links_in_csv(file_path): df = pd.read_csv(file_path) count = 0 for column in df: count += df[column].astype(str).str.startswith(('http://', 'https://')).sum() return count link_count = count_links_in_csv(file_path) print(f'Số lượng link trong tệp CSV: {link_count}')Giải thích
- file_path: Thay thế nó bằng đường dẫn thực tế đến tệp CSV của bạn.
- csv.reader và pandas.read_csv: Đọc nội dung của tệp CSV.
- startswith(): Kiểm tra xem một chuỗi có bắt đầu bằng 'http://' hoặc 'https://' hay không để xác định đó có phải là một liên kết hay không.
- sum(): Tính tổng số các liên kết được tìm thấy.
Tuỳ thuộc tệp CSV của bạn chứa các thông tin thế nào, có thể bạn sẽ cần điều chỉnh lại mã một chút để tương thích với định dạng dữ liệu của bạn.
- User
C:\Users\Chinh\Desktop\New folder\app\match_data.csv
- Assistant
Để đếm số lượng đường liên kết trong tệp CSV có địa chỉ
C:\Users\Chinh\Desktop\New folder\app\match_data.csv, bạn có thể sử dụng Python với một trong hai thư viện đã đề cập làcsvhoặcpandas. Dưới đây là một ví dụ cụ thể cho cả hai phương pháp:Sử dụng thư viện csv
import csv # Đường dẫn đến tệp CSV của bạn file_path = r'C:\Users\Chinh\Desktop\New folder\app\match_data.csv' def count_links_in_csv(file_path): count = 0 with open(file_path, mode='r', encoding='utf-8') as file: csv_reader = csv.reader(file) for row in csv_reader: for column in row: # Kiểm tra xem nội dung có phải là một link if column.startswith('http://') or column.startswith('https://'): count += 1 return count link_count = count_links_in_csv(file_path) print(f'Số lượng link trong tệp CSV: {link_count}')Sử dụng thư viện pandas
import pandas as pd # Đường dẫn đến tệp CSV của bạn file_path = r'C:\Users\Chinh\Desktop\New folder\app\match_data.csv' def count_links_in_csv(file_path): df = pd.read_csv(file_path) count = 0 for column in df: count += df[column].astype(str).str.startswith(('http://', 'https://')).sum() return count link_count = count_links_in_csv(file_path) print(f'Số lượng link trong tệp CSV: {link_count}')Giải thích:
-
Đường dẫn tệp: Hãy chắc chắn rằng sử dụng chữ
rtrước dấu nháy đơn để xử lý chuỗi nguyên thủy (raw string), giúp Python không hiểu sai ký tự escape trong đường dẫn. -
Kiểm tra Link: Sử dụng phương thức
startswith()để kiểm tra nếu một chuỗi văn bản bắt đầu bằnghttp://hoặchttps://, đây là dấu hiệu của một liên kết web. -
Đọc Tệp:
csv.readerđọc từng dòng một trong tệp CSV cho phép tìm kiếm các link trong mỗi dòng khi sử dụng thư việncsv.pandas.read_csvgiúp bạn dễ dàng phân tích cột chứa link khi sử dụng thư việnpandas.
Bạn cần cài đặt thư viện
pandasnếu chưa có. Bạn có thể cài đặt bằng lệnh sau trong cmd/terminal:pip install pandasChạy đoạn mã với đường dẫn đã chỉnh sửa để đếm số lượng đường liên kết trong tệp CSV của bạn.
-
- User
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options import time from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import csv from webdriver_manager.chrome import ChromeDriverManager from concurrent.futures import ThreadPoolExecutor from threading import Lock
Khóa để bảo vệ khi cập nhật số lượng liên kết đã truy cập
lock = Lock() links_visited = 0 # Biến toàn cục đếm số link đã truy cập
def scroll_page(driver, scroll_amount=700): driver.execute_script(f"window.scrollBy(0, {scroll_amount});") time.sleep(1)
def collect_links(driver, existing_links): match_links = driver.find_elements( By.XPATH, "//a[contains(@class, 'match-container')]" ) for link in match_links: existing_links.add(link.get_attribute("href"))
def scroll_full_page(driver): match_links_set = set() previous_size = 0 retries = 5
while retries > 0: scroll_page(driver) collect_links(driver, match_links_set) if len(match_links_set) == previous_size: retries -= 1 if retries == 0: print("Không còn dữ liệu mới, dừng cuộn.") break else: retries = 5 previous_size = len(match_links_set) return match_links_setdef extract_ou_data(driver): ou_data = [] try: WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.CLASS_NAME, "el-table__body-wrapper")) ) table = driver.find_element(By.CLASS_NAME, "el-table__body") rows = table.find_elements(By.TAG_NAME, "tr")
for row in rows: cells = row.find_elements(By.TAG_NAME, "td") if len(cells) == 5: time_live, score, ou, over, under = [ cell.text.strip() for cell in cells ] ou_data.append( { "time_live": time_live, "score": score, "ou": ou, "over": over, "under": under, } ) elif len(cells) == 4: time_live, ou, over, under = [cell.text.strip() for cell in cells] ou_data.append( { "time_live": time_live, "score": "", "ou": ou, "over": over, "under": under, } ) except Exception as e: print(f"Có lỗi xảy ra khi trích xuất dữ liệu Tài/Xỉu: {e}") return ou_datadef convert_to_dict(ou_data): ou_dict = {} for item in ou_data: ou_dict[item["time_live"]] = item return ou_dict
def extract_asian_handicap_data(driver, ou_dict): handicap_data = [] try: WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.CLASS_NAME, "el-table__body-wrapper")) ) table = driver.find_element(By.CLASS_NAME, "el-table__body") rows = table.find_elements(By.TAG_NAME, "tr")
for row in rows: cells = row.find_elements(By.TAG_NAME, "td") if len(cells) != 4: continue time_live_cell = cells[0].text.strip() matching_ou_data = ou_dict.get(time_live_cell, None) if matching_ou_data: try: hdc_handicap = ( cells[2] .find_element(By.CLASS_NAME, "tableHandicap") .text.strip() ) except Exception: hdc_handicap = "" try: hdc_value_1 = ( cells[2].find_element(By.CLASS_NAME, "oddsVal").text.strip() ) except Exception: hdc_value_1 = "" try: hdc_value_2 = ( cells[3].find_element(By.CLASS_NAME, "oddsVal").text.strip() ) except Exception: hdc_value_2 = "" handicap_data.append( { "time_live": time_live_cell, "hdc_handicap": hdc_handicap, "hdc_value_1": hdc_value_1, "hdc_value_2": hdc_value_2, } ) except Exception as e: print(f"Có lỗi xảy ra khi trích xuất dữ liệu Kèo Châu Á: {e}") return handicap_datadef extract_match_info(driver): try: league_element = driver.find_element( By.XPATH, "//a[contains(@href, '/tournament-') and @data-v-606b9670]" ) league = league_element.text.strip()
time_element = driver.find_element( By.XPATH, "//span[@itemprop='startDate' and @data-v-606b9670]" ) time_str = time_element.text.strip() home_element = driver.find_element( By.XPATH, "//a[@itemprop='homeTeam' and @data-v-606b9670]" ) home = home_element.text.strip() away_element = driver.find_element( By.XPATH, "//a[@itemprop='awayTeam' and @data-v-606b9670]" ) away = away_element.text.strip() return league, time_str, home, away except Exception as e: print(f"Lỗi khi trích xuất thông tin trận đấu: {e}") return "", "", "", ""def write_data(csv_writer, current_info, previous_info, row_data): league, time_str, home, away, link = current_info
if previous_info: if current_info[0] == previous_info[0]: league = "" if current_info[1] == previous_info[1]: time_str = "" if current_info[2] == previous_info[2]: home = "" if current_info[3] == previous_info[3]: away = "" if current_info[4] == previous_info[4]: link = "" score_text = "'" + str(row_data["score"]) ou_text = "'" + str(row_data["ou"]) complete_row_data = [ league, time_str, home, away, row_data["time_live"], score_text, ou_text, row_data["over"], row_data["under"], row_data.get("hdc_handicap", ""), row_data.get("hdc_value_1", ""), row_data.get("hdc_value_2", ""), link, ] csv_writer.writerow(complete_row_data) print(f"Đã ghi dữ liệu: {complete_row_data}") return current_infodef read_existing_links(): existing_links = set() try: with open( "match_data.csv", mode="r", newline="", encoding="utf-8-sig" ) as csvfile: csvreader = csv.reader(csvfile) next(csvreader, None) for row in csvreader: if row: existing_links.add(row[-1]) except FileNotFoundError: pass return existing_links
def process_link(link): global links_visited options = Options() options.add_argument("--log-level=3") options.add_argument("--silent") options.add_argument( "user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36" )
driver = webdriver.Chrome( service=Service(ChromeDriverManager().install()), options=options ) try: driver.get(link) WebDriverWait(driver, 40).until( lambda d: d.execute_script("return document.readyState") == "complete" ) league, time_str, home, away = extract_match_info(driver) WebDriverWait(driver, 10).until( EC.element_to_be_clickable( (By.XPATH, "//a[contains(text(), 'Tỷ lệ cược')]") ) ).click() WebDriverWait(driver, 10).until( EC.element_to_be_clickable( ( By.XPATH, "//*[@id='app']/div[3]/div[4]/span/div/div[1]/div[2]/div[2]/div[3]/i", ) ) ).click() WebDriverWait(driver, 10).until( EC.element_to_be_clickable( (By.XPATH, "//span[contains(text(), 'Số bàn thắng Tài/Xỉu')]") ) ).click() ou_data = extract_ou_data(driver) ou_dict = convert_to_dict(ou_data) WebDriverWait(driver, 10).until( EC.element_to_be_clickable( (By.XPATH, "//span[contains(text(), 'Kèo châu Á')]") ) ).click() asian_handicap_data = extract_asian_handicap_data(driver, ou_dict) with open( "match_data.csv", mode="a", newline="", encoding="utf-8-sig" ) as csvfile: csvwriter = csv.writer(csvfile) previous_info = None for ou in ou_data: matching_ah = next( ( ah for ah in asian_handicap_data if ah["time_live"] == ou["time_live"] ), {"hdc_handicap": "", "hdc_value_1": "", "hdc_value_2": ""}, ) row_data = {**ou, **matching_ah} previous_info = write_data( csvwriter, (league, time_str, home, away, link), previous_info, row_data, ) with lock: links_visited += 1 print(f"Đã truy cập {links_visited} liên kết") except Exception as e: print(f"Error while processing link {link}: {e}") finally: driver.quit()existing_links = read_existing_links()
chrome_options = Options() chrome_options.add_argument("--log-level=3") chrome_options.add_argument("--silent") chrome_options.add_argument( "user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36" )
driver = webdriver.Chrome( service=Service(ChromeDriverManager().install()), options=chrome_options )
try: driver.get("https://www.aiscore.com/vi/20241008") driver.implicitly_wait(10) print("Đang chờ tab 'Đã kết thúc' xuất hiện...") ended_tab = WebDriverWait(driver, 60).until( EC.element_to_be_clickable( (By.XPATH, "//span[contains(text(), 'Đã kết thúc')]") ) ) ended_tab.click()
print("Đang chờ nội dung mới được tải...") WebDriverWait(driver, 10).until( EC.presence_of_element_located( (By.XPATH, "//div[contains(@class, 'vue-recycle-scroller__item-wrapper')]") ) ) match_links = scroll_full_page(driver) new_links = [link for link in match_links if link not in existing_links]finally: driver.quit()
with ThreadPoolExecutor(max_workers=5) as executor: executor.map(process_link, new_links) đây là code crawl data của tôi, nó thông báo thu được 122 link, trong khi thực tế có tới 154 link. Và sau khi kiểm tra file csv thì chỉ còn 109 link
- Assistant
Dưới đây là một số bước debug mà bạn có thể làm để xác định nguyên nhân tại sao số lượng liên kết đã thu thập và số lượng liên kết được ghi vào tệp CSV không khớp:
Kiểm Tra và Debug
-
Kiểm tra Quy Trình Cuộn Trang:
- Bạn cần đảm bảo rằng toàn bộ trang đã được cuộn hoàn toàn trước khi dừng lại. Đôi khi, việc chờ không đủ lâu hoặc trang bị lỗi có thể ảnh hưởng đến kết quả.
-
Kiểm Tra Hàm
collect_links:- Đảm bảo rằng hàm
collect_linksthực sự thu thập tất cả các liên kết. Bạn có thể thêmprint()để in ra danh sách các liên kết khi đã thu thập được.
- Đảm bảo rằng hàm
-
Kiểm Tra Các Liên Kết Đã Tồn Tại:
- Lưu ý rằng hàm
read_existing_linkstạo một tập hợpexisting_links. Có khả năng một số liên kết bị coi là đã tồn tại, và do đó, không được xử lý. Bạn có thể thử in ra các liên kết đã có trong tệp CSV để kiểm tra.
- Lưu ý rằng hàm
-
Kiểm Tra Lỗi Trong Quá Trình Ghi Tệp CSV:
- Đảm bảo rằng không có lỗi xảy ra khi ghi vào CSV. Theo dõi số lượng liên kết thực sự được ghi vào tệp CSV.
-
Kiểm Tra Ngoại Lệ Trong Quá Trình Xử Lý Liên Kết:
- Trong hàm
process_link, bạn nên thêm thông báo in lỗi cụ thể hơn khi một liên kết không thành công. Điều này có thể giúp bạn biết liệu có lỗi gì trong khi xử lý từng liên kết.
- Trong hàm
-
Debug Bằng Cách In Thông Tin:
- Thử in ra các thông tin chi tiết tại các điểm như sau để xác định nơi xảy ra vấn đề:
match_links_set = scroll_full_page(driver) print(f'Tổng số liên kết tìm thấy: {len(match_links_set)}') - Trong hàm
process_link, in thông tin của mỗi liên kết cùng với bất kỳ thông tin lỗi nào.
- Thử in ra các thông tin chi tiết tại các điểm như sau để xác định nơi xảy ra vấn đề:
Ví Dụ Điều Chỉnh
Dưới đây là một số điều chỉnh cụ thể mà bạn có thể thử:
def collect_links(driver, existing_links): match_links = driver.find_elements( By.XPATH, "//a[contains(@class, 'match-container')]" ) for link in match_links: href = link.get_attribute("href") print(f"Đã tìm thấy liên kết: {href}") existing_links.add(href)def read_existing_links(): existing_links = set() try: with open( "match_data.csv", mode="r", newline="", encoding="utf-8-sig" ) as csvfile: csvreader = csv.reader(csvfile) next(csvreader, None) for row in csvreader: if row: existing_links.add(row[-1]) print(f"Liên kết đã có: {row[-1]}") except FileNotFoundError: pass return existing_linksCuối cùng, nếu bạn vẫn gặp vấn đề, hãy đảm bảo rằng không có liên kết bị bỏ qua do lỗi kết nối mạng hoặc do lệnh chờ (
WebDriverWait) không được thỏa mãn. Thử điều chỉnh các giá trị thời gian đợi hoặc thực hiện làm sạch dữ liệu bằng cách viết script riêng trước khi thực hiện crawling. -