Jak pobrać daty wydania komiksów ze strony https://marvel.fandom.com/ do arkusza w…
- User
Jak pobrać daty wydania komiksów ze strony https://marvel.fandom.com/ do arkusza w Excelu, który ma już podane nazwy komiksów?
- Assistant
Oto kroki i metody, jak pobrać daty wydania komiksów ze strony Marvel Fandom i dodać je do arkusza Excela z nazwami komiksów:
Metoda 1: Użycie Power Query (Najlepsza i Zalecana Metoda)
Power Query to narzędzie wbudowane w Excel, które pozwala na pobieranie i transformowanie danych z różnych źródeł, w tym stron internetowych. Jest to najbardziej efektywny i automatyczny sposób, jeśli potrzebujesz regularnie aktualizować dane.
-
Przygotuj Arkusz Excela:
- Upewnij się, że w arkuszu Excela masz kolumnę z tytułami komiksów. Nazwij nagłówek tej kolumny, np. "Tytuł Komiksu".
-
Zdobądź adres URL strony wyszukiwania Marvel Fandom:
- Najprostszym sposobem jest użycie strony wyszukiwania Google w połączeniu z wyszukiwarką na stronie marvel.fandom.com. Buduj URL w następujący sposób:
https://marvel.fandom.com/wiki/Special:Search?query=[tytuł komiksu]&scope=everything&navigationSearch=true. Fragment[tytuł komiksu]zastąp rzeczywistym tytułem.
-
Użyj Power Query do pobrania danych:
-
W Excelu: Przejdź do zakładki Dane.
-
W sekcji Pobierz i przekształć dane wybierz Z tabeli/zakresu.
-
Wybierz zakres komórek zawierający Twoje tytuły komiksów. Upewnij się, że zaznaczone jest pole "Moja tabela ma nagłówki". Kliknij OK.
-
Otworzy się Edytor Power Query.
-
Dodaj kolumnę z linkiem do wyszukiwania: W Edytorze Power Query, przejdź do Dodaj kolumnę -> Kolumna niestandardowa.
-
W polu Nazwa nowej kolumny wpisz np. "Link do Wyszukiwania".
-
W polu Formuła kolumny niestandardowej wpisz następującą formułę (za
[Tytuł Komiksu]wstaw nazwę kolumny, gdzie znajdują się tytuły):"https://marvel.fandom.com/wiki/Special:Search?query=" & URLEncode([Tytuł Komiksu]) & "&scope=everything&navigationSearch=true"- Funkcja
URLEncodejest ważna, ponieważ prawidłowo zakoduje tytuł komiksu w URL, aby obsłużyć spacje i znaki specjalne.
- Funkcja
-
Kliknij OK. Zobaczysz nową kolumnę z linkami do wyszukiwania.
-
Dodaj kolumnę z linkiem do pierwszej strony z wyników: Dodaj kolejną kolumnę niestandardową. Nazwij ją "Link do Strony". W polu formuły wpisz:
try Web.Page(Web.Contents([Link do Wyszukiwania]))[Data]{0}[Children]{0}[Children]{1}[Attributes][href] otherwise nullTa formuła:
- Pobiera treść strony wyników wyszukiwania (
Web.Contents). - Parsuje HTML jako stronę internetową (
Web.Page). - Przechodzi przez strukturę HTML, aby znaleźć link do pierwszej strony z wynikami. WAŻNE: Ta formuła jest bardzo podatna na zmiany w strukturze strony Marvel Fandom. Może wymagać dostosowania w przyszłości.
try...otherwise nullobsłuży sytuacje, gdy nie znajdzie strony (np. brak wyników wyszukiwania) i zwrócinullzamiast błędu.
- Pobiera treść strony wyników wyszukiwania (
-
Kliknij OK.
-
Rozwiń Dane ze Strony Komiksu: Teraz, gdy masz link do strony komiksu, dodaj kolejną kolumnę niestandardową. Nazwij ją np. "Data Wydania"
try let Source = Web.Page(Web.Contents("https://marvel.fandom.com" & [Link do Strony])), Data0 = Source[Data]{0}[Children], Data1 = List.Select(Data0, each Record.HasFields(_, {"Name", "Children"})), Data2 = List.Select(Data1, each [Name] = "div"), Data3 = List.Select(Data2, each List.Contains(List.Transform([Children], each Record.FieldOrDefault(_, "Data", "")), "Publication date")), Data4 = if List.IsEmpty(Data3) then null else Data3{0}[Children], Data5 = if Data4 = null then null else List.Select(Data4, each Record.HasFields(_, {"Name", "Data"})), Data6 = if Data5 = null then null else List.Select(Data5, each [Name] = "span"), Data7 = if List.IsEmpty(Data6) then null else Data6{0}[Data] in Data7 otherwise nullTa formuła:
- Pobiera treść strony komiksu (
Web.Contents). - Parsuje HTML.
- Szuka elementu
div, który zawiera tekst "Publication date". - Wyciąga wartość daty ze znacznika
spanwewnątrz tegodiv. - Używa
try...otherwise nulldo obsługi przypadków, gdy data wydania nie zostanie znaleziona.
WAŻNE: Ta formuła jest BARDZO zależna od struktury strony Marvel Fandom i MOŻE PRZESTAĆ DZIAŁAĆ, jeśli strona zostanie zmieniona. Będziesz musiał ją dostosować.
- Pobiera treść strony komiksu (
-
Kliknij OK.
-
Usuń Niepotrzebne Kolumny: Możesz usunąć kolumny "Link do Wyszukiwania" i "Link do Strony", jeśli nie są Ci już potrzebne.
-
Zamknij i Załaduj: W Edytorze Power Query, kliknij Zamknij i załaduj do... Wybierz, gdzie chcesz umieścić wyniki (istniejący arkusz, nowa tabela, itp.).
-
-
Odnawianie danych: Kliknij prawym przyciskiem myszy w tabeli, którą utworzył Power Query i wybierz "Odśwież". Power Query ponownie pobierze dane ze strony Marvel Fandom i zaktualizuje Twój arkusz.
WAŻNE UWAGI dotyczące Power Query:
- Struktura Strony: Powyższe formuły Power Query są bardzo delikatne i zależą od konkretnej struktury HTML strony Marvel Fandom. Jeśli strona zmieni się, formuły przestaną działać i będziesz musiał je dostosować. Będziesz musiał zbadać HTML strony i zaktualizować formuły Power Query odpowiednio. Możesz użyć narzędzi deweloperskich przeglądarki (kliknij prawym przyciskiem myszy na stronie i wybierz "Zbadaj" lub "Inspect") aby zobaczyć strukturę HTML.
- Obsługa Błędów: Formuły
try...otherwise nullpomagają w obsłudze błędów, ale nadal warto dokładnie sprawdzić wyniki i upewnić się, że dane są poprawne. - Ograniczenia Strony: Strona Marvel Fandom może mieć zabezpieczenia przed zbyt częstym pobieraniem danych (tzw. "rate limiting"). Jeśli pobierasz dane bardzo szybko, możesz zostać zablokowany na pewien czas. Dodanie opóźnień (sleep) w Power Query jest trudne, więc Power Query może nie być idealne do bardzo dużych zbiorów danych, które wymagają wielu zapytań.
Metoda 2: Użycie VBA (bardziej zaawansowana)
VBA (Visual Basic for Applications) to język programowania wbudowany w Excel. Pozwala na pisanie skryptów, które automatyzują zadania, w tym pobieranie danych ze stron internetowych. Ta metoda jest bardziej elastyczna niż Power Query, ale wymaga znajomości VBA.
-
Włącz zakładkę Deweloper: Jeśli nie widzisz zakładki "Deweloper" w Excelu, przejdź do Plik -> Opcje -> Dostosuj wstążkę i zaznacz pole "Deweloper".
-
Otwórz Edytor VBA: W zakładce "Deweloper" kliknij "Visual Basic".
-
Wstaw Moduł: W Edytorze VBA, w menu Wstaw wybierz Moduł.
-
Napisz Kod VBA: Wklej następujący kod VBA do modułu:
Sub PobierzDatyWydania() Dim ws As Worksheet Dim LastRow As Long Dim i As Long Dim Title As String Dim URL As String Dim XMLPage As Object Dim HTMLDoc As Object Dim ReleaseDateElement As Object Dim ReleaseDate As String ' Ustaw arkusz roboczy Set ws = ThisWorkbook.Sheets("Arkusz1") ' Zmień "Arkusz1" na nazwę Twojego arkusza ' Znajdź ostatni wiersz z danymi LastRow = ws.Cells(Rows.Count, "A").End(xlUp).Row ' Zakładam, że tytuły są w kolumnie A ' Pętla przez każdy tytuł komiksu For i = 2 To LastRow ' Zakładam, że nagłówki są w wierszu 1, więc zaczynamy od wiersza 2 ' Pobierz tytuł komiksu Title = ws.Cells(i, "A").Value ' Zbuduj URL wyszukiwania URL = "https://marvel.fandom.com/wiki/Special:Search?query=" & WorksheetFunction.EncodeURL(Title) & "&scope=everything&navigationSearch=true" ' Utwórz obiekt XMLHTTP Set XMLPage = CreateObject("MSXML2.XMLHTTP.6.0") XMLPage.Open "GET", URL, False XMLPage.setRequestHeader "Content-Type", "text/xml" XMLPage.send ' Sprawdź, czy udało się pobrać stronę If XMLPage.Status <> 200 Then ws.Cells(i, "B").Value = "Błąd pobierania strony" ' Zapisz błąd w kolumnie B GoTo NextComic End If ' Utwórz obiekt HTML Set HTMLDoc = CreateObject("HTMLFile") HTMLDoc.body.innerHTML = XMLPage.responseText ' Spróbuj znaleźć link do pierwszej strony w wynikach wyszukiwania Dim SearchResults As Object Set SearchResults = HTMLDoc.querySelectorAll(".unified-search__result__header a") If SearchResults.Length = 0 Then ws.Cells(i, "B").Value = "Nie znaleziono wyników" GoTo NextComic End If Dim ComicPageURL As String ComicPageURL = "https://marvel.fandom.com" & SearchResults(0).href ' Pobierz stronę komiksu XMLPage.Open "GET", ComicPageURL, False XMLPage.setRequestHeader "Content-Type", "text/xml" XMLPage.send If XMLPage.Status <> 200 Then ws.Cells(i, "B").Value = "Błąd pobierania strony komiksu" GoTo NextComic End If HTMLDoc.body.innerHTML = XMLPage.responseText ' Spróbuj znaleźć datę wydania (szukaj elementu, który zawiera "Publication date") Set ReleaseDateElement = HTMLDoc.querySelector("div:contains('Publication date') span") If ReleaseDateElement Is Nothing Then ws.Cells(i, "B").Value = "Nie znaleziono daty wydania" GoTo NextComic End If ReleaseDate = ReleaseDateElement.innerText ' Zapisz datę wydania w arkuszu ws.Cells(i, "B").Value = ReleaseDate NextComic: Next i ' Wyświetl komunikat po zakończeniu MsgBox "Pobieranie dat wydania zakończone!" ' Zwolnij obiekty Set ws = Nothing Set XMLPage = Nothing Set HTMLDoc = Nothing Set ReleaseDateElement = Nothing End Sub-
Dostosuj Kod:
Set ws = ThisWorkbook.Sheets("Arkusz1"): Zmień"Arkusz1"na nazwę Twojego arkusza Excela.LastRow = ws.Cells(Rows.Count, "A").End(xlUp).Row: Kod zakłada, że tytuły komiksów znajdują się w kolumnie "A". Zmień "A" na właściwą kolumnę, jeśli trzeba.ws.Cells(i, "B").Value = ...: Kod zapisuje daty wydania w kolumnie "B". Zmień "B" na właściwą kolumnę.- Selektor CSS
.unified-search__result__header a: Kod używa selektora CSS, aby znaleźć link do strony komiksu na stronie wyszukiwania. Może być konieczne dostosowanie tego selektora, jeśli struktura strony Marvel Fandom się zmieni. Użyj narzędzi deweloperskich przeglądarki, aby zbadać kod HTML i znaleźć odpowiedni selektor. - Selektor CSS
div:contains('Publication date') span: Kod używa selektora CSS, aby znaleźć element zawierający datę wydania na stronie komiksu. Zbadaj stronę komiksu za pomocą narzędzi deweloperskich i dostosuj ten selektor, jeśli zajdzie taka potrzeba.
-
Uruchom Kod: W Edytorze VBA, naciśnij F5 lub kliknij przycisk "Uruchom" (zielona strzałka).
WAŻNE UWAGI dotyczące VBA:
- Biblioteki: Ten kod wymaga, aby w Excelu była włączona biblioteka
Microsoft XML, v6.0. Aby to zrobić, w Edytorze VBA przejdź do Narzędzia -> Odwołania i zaznacz pole obok "Microsoft XML, v6.0" lub podobnej wersji (jeśli dostępna jest inna wersja, wybierz najnowszą). - Bezpieczeństwo: Pamiętaj, że pobieranie danych ze stron internetowych za pomocą VBA może być ryzykowne, zwłaszcza jeśli pobierasz dane z niezaufanych źródeł. Upewnij się, że wiesz, skąd pochodzą dane i że strona jest bezpieczna.
- Zależność od Strony: Podobnie jak w przypadku Power Query, kod VBA jest bardzo zależny od struktury strony Marvel Fandom. Jeśli strona się zmieni, kod przestanie działać i będziesz musiał go dostosować. Będziesz musiał zbadać HTML strony i zaktualizować selektory CSS odpowiednio.
- Obsługa Błędów: Kod zawiera podstawową obsługę błędów, ale warto dodać więcej mechanizmów obsługi błędów, aby zapewnić, że kod działa poprawnie nawet w przypadku problemów z pobieraniem danych.
- Rate Limiting: Tak jak wspomniano wcześniej, strona Marvel Fandom może mieć zabezpieczenia przed zbyt częstym pobieraniem danych. VBA może być bardziej elastyczne w implementacji opóźnień (użycie
Application.Wait), ale to spowalnia cały proces.
Podsumowanie i Rekomendacje
- Power Query (Rekomendowane): Jest to zazwyczaj najlepszy wybór, jeśli potrzebujesz regularnie odświeżać dane i nie masz bardzo skomplikowanych wymagań co do pobierania danych. Jest łatwiejsze w użyciu niż VBA, ale mniej elastyczne.
- VBA: Jest to dobry wybór, jeśli potrzebujesz większej kontroli nad procesem pobierania danych, masz skomplikowane wymagania lub potrzebujesz obsługiwać specyficzne scenariusze błędów. Wymaga znajomości VBA.
Kluczowe Punkty:
- Obie metody są zależne od struktury strony Marvel Fandom i mogą przestać działać, jeśli strona zostanie zmieniona.
- Używaj narzędzi deweloperskich przeglądarki, aby zbadać kod HTML strony i dostosować formuły Power Query lub selektory CSS w kodzie VBA.
- Pamiętaj o obsłudze błędów i zabezpieczeniach.
- Respektuj ograniczenia strony Marvel Fandom (rate limiting). Nie pobieraj danych zbyt szybko.
Pamiętaj, że powyższe przykłady kodu są punktem wyjścia i mogą wymagać dostosowania do Twoich konkretnych potrzeb. Powodzenia!
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.