Skip to content
The Chat Archive
gpt-4o-mini-2024-07-18· OpenAI WildChat-4.8M (AI2)

import languagetoolpython from transformers import pipeline tool =…

  1. User

    import language_tool_python from transformers import pipeline

    tool = language_tool_python.LanguageTool('pl')

    google-bert/bert-base-multilingual-uncased

    dkleczek/bert-base-polish-uncased-v1

    mlx-community/bert-base-multilingual-uncased

    lxyuan/span-marker-bert-base-multilingual-uncased-multinerd

    fill_mask = pipeline("fill-mask", model="Geotrend/bert-base-pl-cased")

    text = "Cześć, jestem Marcni — co tam u czbiy sychać!"

    text = "Na sami w życiu tak jest eśipszta grywa."

    matches = tool.check(text)

    corrected_text = language_tool_python.utils.correct(text, matches)

    unresolved_words = [] for match in matches: if not match.replacements: # No suggestions start, end = match.offset, match.offset + match.errorLength unresolved_words.append((text[start:end], start, end))

    for word, start, end in unresolved_words: masked_text = corrected_text[:start] + "[MASK]" + corrected_text[end:] predictions = fill_mask(masked_text)

    best_suggestion = predictions[0]['token_str']
    corrected_text = corrected_text[:start] + best_suggestion + corrected_text[end:]
    

    print("Original Text:", text) print("Corrected Text:", corrected_text)

    czy mógłbyś prosze użyć language tool-a tylko do zobaczenia które miejsca są niepoprawne?

  2. Assistant

    Oczywiście! W poniższym przykładzie użyję language_tool_python tylko po to, aby zidentyfikować błędne miejsca w tekście, a następnie wypiszę odpowiednie komunikaty, ale nie będę wprowadzać żadnych poprawek. Oto kod:

    import language_tool_python
    
    # Inicjalizacja narzędzia do sprawdzania gramatyki
    tool = language_tool_python.LanguageTool('pl')
    
    # Przykładowy tekst
    text = "Cześć, jestem Marcni — co tam u czbiy sychać!"
    
    # Sprawdzanie tekstu przy użyciu LanguageTool
    matches = tool.check(text)
    
    # Wypisanie oryginalnego tekstu
    print("Oryginalny tekst:", text)
    
    # Wypisanie błędów oraz ich lokalizacji
    if matches:
        for match in matches:
            start, end = match.offset, match.offset + match.errorLength
            error_word = text[start:end]
            print(f"Błąd: '{error_word}' w pozycji {start}-{end} - {match.message}")
    else:
        print("Brak błędów w tekście.")
    

    W wyniku działania tej aplikacji zostaną wypisane błędy w tekście wraz z ich lokalizacją i komunikatami wyjaśniającymi, co jest niezgodne z zasadami gramatyki. Nie będą wprowadzone żadne poprawki, a jedynie zidentyfikowane błędne fragmenty.

  3. User

    jak przyśpieszyc proces sprawdzania tekstu

  4. Assistant

    Aby przyspieszyć proces sprawdzania tekstu przy użyciu language_tool_python, możesz rozważyć kilka strategii:

    1. Wsadowa analiza tekstu: Zamiast sprawdzać tekst liniowo, możesz podzielić go na mniejsze fragmenty i sprawdzić je równolegle (np. używając wielowątkowości lub procesów), jeśli masz dużą ilość tekstu do przetworzenia.

    2. Użycie lokalnego serwera LanguageTool: Możesz uruchomić lokalny serwer LanguageTool zamiast korzystać z klienta. W ten sposób będziesz mógł przesyłać żądania bezpośrednio do serwera, co często jest szybsze. Oto jak to zrobić:

      • Pobierz i rozpakuj LanguageTool z oficjalnej strony.
      • Uruchom server za pomocą polecenia:
        java -jar languagetool-server.jar
        
      • W swoim kodzie zamiast lokalnej instancji możesz użyć API.
      import requests
      
      # Ustaw adres lokalnego serwera LanguageTool
      url = "http://localhost:8010/v2/check"
      
      text = "Cześć, jestem Marcni — co tam u czbiy sychać!"
      data = {
          'text': text,
          'language': 'pl'
      }
      
      response = requests.post(url, data=data)
      matches = response.json().get('matches', [])
      
    3. Ograniczenie liczby sprawdzanych błędów: Umożliwiając tylko te sprawdzenia, które są dla Ciebie istotne, możesz przyspieszyć proces. Na przykład, możesz skonfigurować narzędzie do ignorowania określonych typów błędów.

    4. Minimalizacja żądań: Zminimalizuj liczbę żądań do narzędzia sprawdzającego, przeprowadzając wstępne przetwarzanie, aby zidentyfikować tylko podejrzane fragmenty tekstu, zamiast każdorazowo analizować cały tekst.

    5. Batch processing: W przypadku dłuższych tekstów przetwarzaj je w partiach. Możesz podzielić tekst na zdania lub akapity i sprawdzić je w równoległych wątkach.

    Użycie powyższych metod może znacząco poprawić wydajność procesu sprawdzania tekstu.