WOW, zaimponowałeś mi swoją odpowiedzią! Odkryłem jedną ciekawą rzecz - ten serwer…
- User
WOW, zaimponowałeś mi swoją odpowiedzią! Odkryłem jedną ciekawą rzecz - ten serwer dostaje (albo jest wywoływany) 3 żądania, pierwsze 2 są typu GET i myślałem że na tym koniec. ALE własnie te z AJAXem są już typu POST. Tak robię wszystko w jednej funkcji żeby httpx.AsyncClient trzymało ciasteczka itp. I teraz mam kilka tych AJAX a nie wiem o nich zupełnie nic :) Widać je w kolumnie initiator w DevTools i jest ich dużo: send, ajax, b/pmk.rpc<, b, pmk.table.load, create, _trigger, _createWidget -- to tylko niektóre, skopiowałem je dokładnie tak jak je widzę i pmk.table jest tym o co mi chodzi, nie pootrzebuję wszystkiego. Co dalej?
Assistant
Super, że zauważyłeś te żądania AJAX! To właśnie tam kryją się dane, które chcesz pobrać. A fakt, że widzisz wiele różnych
initiatorów(jakpmk.table.load,create,_triggeritd.) oznacza, że strona korzysta z biblioteki JavaScript (prawdopodobnie własnej lub opartej na jQuery UI) do dynamicznego ładowania danych.
🔍 Co teraz zrobić?
1. Zidentyfikuj konkretne żądanie
pmk.table.loadTo prawdopodobnie to, co Cię interesuje — czyli żądanie, które ładuje dane do tabeli. Skupmy się na tym jednym żądaniu.
2. W DevTools (Firefox/Chrome):
- Przejdź do zakładki Network.
- Upewnij się, że filtrujesz tylko XHR/Fetch.
- Odśwież stronę i poczekaj aż tabela się załaduje.
- Kliknij na żądanie, które w kolumnie Initiator ma wartość
pmk.table.load.
3. Sprawdź szczegóły tego żądania:
Kiedy klikniesz na żądanie, zobaczysz:
✅ URL żądania:
Zapisz go — to będzie adres API, który musisz wywołać z
httpx.✅ Metoda HTTP:
Prawdopodobnie
POST, ale może być teżGET.✅ Nagłówki (
Headers):Zwróć uwagę na nagłówki takie jak:
Content-Type– np.application/x-www-form-urlencodedlubapplication/jsonX-Requested-With– zwykleXMLHttpRequestReferer– często wymaganyCookie– sesja jest już trzymana przezhttpx.AsyncClient, więc nie musisz tego przesyłać ręcznie
✅ Dane żądania (
PayloadlubRequest Payload):Jeśli metoda to
POST, to tutaj znajdziesz parametry wysyłane do serwera. Mogą wyglądać np. tak:{ "tableId": "tabela1", "action": "load", "page": 1, "pageSize": 50 }lub jako form-data:
tableId=tabela1&action=load&page=1Zapisz ten payload – będziesz musiał go dokładnie powtórzyć w
httpx.
4. Zaimplementuj to w Pythonie (
httpx) z zachowaniem sesjiUżyj
httpx.AsyncClient()(lub synchronicznegohttpx.Client(), jeśli nie używasz async), aby automatycznie przechowywać ciasteczka sesyjne po logowaniu przez CAS.Przykład kodu:
import httpx import asyncio async def fetch_table_data(session_cookies): ajax_url = "https://serwer-danych.com/ajax/table/load" # <- podmień na rzeczywisty URL headers = { 'User-Agent': 'Mozilla/5.0', 'X-Requested-With': 'XMLHttpRequest', 'Content-Type': 'application/x-www-form-urlencoded', # lub application/json, zależnie od tego co widzisz w DevTools 'Referer': 'https://serwer-danych.com/tabela-glowna', # opcjonalnie, ale często potrzebny } data = { 'tableId': 'glowna_tabela', 'action': 'load', 'page': 1, 'pageSize': 50, # dodaj inne pola z payloadu z DevTools } async with httpx.AsyncClient(cookies=session_cookies, timeout=30.0) as client: response = await client.post(ajax_url, headers=headers, data=data) if response.status_code == 200: try: return response.json() except Exception as e: print("Nie udało się sparsować JSON:", e) return response.text else: print(f"Błąd {response.status_code} przy pobieraniu danych z tabeli") return {"error": response.text}
5. Jak testować?
- Wykonuj to żądanie w FastAPI endpointzie lub skrypcie testowym.
- Zwracaj wynik jako JSON lub parsuj dane w Pythonie.
- Jeśli dostaniesz błąd (np.
403 Forbidden,400 Bad Request), to znaczy, że albo brakuje kluczowego nagłówka, albo danych POST. - Sprawdź dokładne wartości nagłówków i payloadu w DevTools jeszcze raz i porównaj z tym, co wysyłasz w
httpx.
6. Dodatkowe porady:
- Jeśli dane są duże i ładowane paginacyjnie (strony), możesz zmieniać
page=1napage=2,page=3itd., by pobrać wszystkie dane. - Jeśli serwer używa tokenów CSRF lub innych mechanizmów bezpieczeństwa, mogą one być również częścią żądań POST — sprawdź, czy znajdują się w HTML lub wcześniejszych żądaniach.
🧪 Przykład testowania w terminalu:
Możesz też skopiować cURL z DevTools i uruchomić go lokalnie, żeby sprawdzić, czy działa:
- W DevTools kliknij PPM na żądanie
pmk.table.load. - Wybierz „Copy as cURL”.
- Wklej do terminala i uruchom.
- Jeśli działa – to samo żądanie musi zadziałać w Twoim kodzie Pythona.
✅ Podsumowanie
Etap Co robić 1. Zidentyfikuj żądanie pmk.table.loadw DevTools2. Zapisz URL, metodę, nagłówki i payload 3. Wyślij identyczne żądanie przez httpx.AsyncClient()4. Upewnij się, że masz poprawne cookies (sesję po CAS-ie) 5. Parsuj odpowiedź JSON zamiast próbować renderować HTML
Jeśli chcesz, możesz tu wkleić (lub uproszczone) dane z DevTools (URL, nagłówki, payload), a pomogę Ci je zreplikować idealnie w Pythonie.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.