import languagetoolpython from transformers import pipeline tool =…
- User
import language_tool_python from transformers import pipeline
tool = language_tool_python.LanguageTool('pl')
google-bert/bert-base-multilingual-uncased
dkleczek/bert-base-polish-uncased-v1
mlx-community/bert-base-multilingual-uncased
lxyuan/span-marker-bert-base-multilingual-uncased-multinerd
fill_mask = pipeline("fill-mask", model="Geotrend/bert-base-pl-cased")
text = "Cześć, jestem Marcni — co tam u czbiy sychać!"
text = "Na sami w życiu tak jest eśipszta grywa."
matches = tool.check(text)
corrected_text = language_tool_python.utils.correct(text, matches)
unresolved_words = [] for match in matches: if not match.replacements: # No suggestions start, end = match.offset, match.offset + match.errorLength unresolved_words.append((text[start:end], start, end))
for word, start, end in unresolved_words: masked_text = corrected_text[:start] + "[MASK]" + corrected_text[end:] predictions = fill_mask(masked_text)
best_suggestion = predictions[0]['token_str'] corrected_text = corrected_text[:start] + best_suggestion + corrected_text[end:]print("Original Text:", text) print("Corrected Text:", corrected_text)
czy mógłbyś prosze użyć language tool-a tylko do zobaczenia które miejsca są niepoprawne?
- Assistant
Oczywiście! W poniższym przykładzie użyję
language_tool_pythontylko po to, aby zidentyfikować błędne miejsca w tekście, a następnie wypiszę odpowiednie komunikaty, ale nie będę wprowadzać żadnych poprawek. Oto kod:import language_tool_python # Inicjalizacja narzędzia do sprawdzania gramatyki tool = language_tool_python.LanguageTool('pl') # Przykładowy tekst text = "Cześć, jestem Marcni — co tam u czbiy sychać!" # Sprawdzanie tekstu przy użyciu LanguageTool matches = tool.check(text) # Wypisanie oryginalnego tekstu print("Oryginalny tekst:", text) # Wypisanie błędów oraz ich lokalizacji if matches: for match in matches: start, end = match.offset, match.offset + match.errorLength error_word = text[start:end] print(f"Błąd: '{error_word}' w pozycji {start}-{end} - {match.message}") else: print("Brak błędów w tekście.")W wyniku działania tej aplikacji zostaną wypisane błędy w tekście wraz z ich lokalizacją i komunikatami wyjaśniającymi, co jest niezgodne z zasadami gramatyki. Nie będą wprowadzone żadne poprawki, a jedynie zidentyfikowane błędne fragmenty.
- User
jak przyśpieszyc proces sprawdzania tekstu
- Assistant
Aby przyspieszyć proces sprawdzania tekstu przy użyciu
language_tool_python, możesz rozważyć kilka strategii:-
Wsadowa analiza tekstu: Zamiast sprawdzać tekst liniowo, możesz podzielić go na mniejsze fragmenty i sprawdzić je równolegle (np. używając wielowątkowości lub procesów), jeśli masz dużą ilość tekstu do przetworzenia.
-
Użycie lokalnego serwera LanguageTool: Możesz uruchomić lokalny serwer LanguageTool zamiast korzystać z klienta. W ten sposób będziesz mógł przesyłać żądania bezpośrednio do serwera, co często jest szybsze. Oto jak to zrobić:
- Pobierz i rozpakuj LanguageTool z oficjalnej strony.
- Uruchom server za pomocą polecenia:
java -jar languagetool-server.jar - W swoim kodzie zamiast lokalnej instancji możesz użyć API.
import requests # Ustaw adres lokalnego serwera LanguageTool url = "http://localhost:8010/v2/check" text = "Cześć, jestem Marcni — co tam u czbiy sychać!" data = { 'text': text, 'language': 'pl' } response = requests.post(url, data=data) matches = response.json().get('matches', []) -
Ograniczenie liczby sprawdzanych błędów: Umożliwiając tylko te sprawdzenia, które są dla Ciebie istotne, możesz przyspieszyć proces. Na przykład, możesz skonfigurować narzędzie do ignorowania określonych typów błędów.
-
Minimalizacja żądań: Zminimalizuj liczbę żądań do narzędzia sprawdzającego, przeprowadzając wstępne przetwarzanie, aby zidentyfikować tylko podejrzane fragmenty tekstu, zamiast każdorazowo analizować cały tekst.
-
Batch processing: W przypadku dłuższych tekstów przetwarzaj je w partiach. Możesz podzielić tekst na zdania lub akapity i sprawdzić je w równoległych wątkach.
Użycie powyższych metod może znacząco poprawić wydajność procesu sprawdzania tekstu.
-