Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

сделай скрипт с использованием графической интерфейсом golang, нужно копировать/парсить…

  1. User

    сделай скрипт с использованием графической интерфейсом golang, нужно копировать/парсить наименование с браузера со страницы, с такими параметрами Заглушка сидения Subaru / 64115FL301VH в скрипте нужно вставлять ссылку на сайт ссылку на диапазон, и выбирать сколько нужно выбрать заголовков количество. Но нужно чтобы открывался браузер - при запуске скрипта, и визуально показывал что он делает, но также в этом браузере мы должны быть залогинены, без этого видны не все заголовки.

    также нужно добавить прогресс бар

    и счетчик количества спарсенных заголовок

    а также возможность выгрузки данных заголовков в формате excel или csv по нажатию кнопки

  2. Assistant

    Создание скрипта на Go, который выполняет парсинг данных с веб-страницы с графическим интерфейсом, требует использования нескольких библиотек. Мы можем использовать Fyne для графического интерфейса и Colly для парсинга веб-данных. Чтобы открывать браузер, мы можем использовать библиотеку chromedp.

    Далее представлен упрощенный пример такой программы. Обратите внимание, что данная программа требует настройки внешних библиотек и исполнение некоторых шагов, чтобы она работала корректно.

    Для начала установим необходимые библиотеки с помощью go get:

    go get fyne.io/fyne/v2
    go get github.com/gocolly/colly/v2
    go get github.com/360EntSecGroup-Skylar/excelize
    go get github.com/chromedp/chromedp
    

    Теперь создадим файл main.go со следующим содержанием:

    package main
    
    import (
    	"context"
    	"fmt"
    	"log"
    	"net/http"
    	"os"
    	"strconv"
    	"strings"
    
    	"github.com/chromedp/chromedp"
    	"github.com/360EntSecGroup-Skylar/excelize/v2"
    	"github.com/gocolly/colly/v2"
    	"fyne.io/fyne/v2/app"
    	"fyne.io/fyne/v2/container"
    	"fyne.io/fyne/v2/layout"
    	"fyne.io/fyne/v2/widget"
    )
    
    func main() {
    	myApp := app.New()
    	myWindow := myApp.NewWindow("Парсер заголовков")
    
    	urlEntry := widget.NewEntry()
    	rangeEntry := widget.NewEntry()
    	countEntry := widget.NewEntry()
    	progress := widget.NewProgressBar()
    	progress.SetValue(0)
    
    	results := []string{}
    
    	urlEntry.SetPlaceHolder("Введите URL")
    	rangeEntry.SetPlaceHolder("Введите диапазон заголовков")
    	countEntry.SetPlaceHolder("Введите количество заголовков")
    
    	var numHeaders int
    
    	startButton := widget.NewButton("Начать парсинг", func() {
    		progress.SetValue(0)
    		results = nil // Сбрасываем результаты
    		numHeaders, _ = strconv.Atoi(countEntry.Text)
    
    		// Открываем браузер для авторизации
    		go func() {
    			ChromeAuth(urlEntry.Text)
    		}()
    
    		// Параллельно парсим заголовки
    		go func() {
    			c := colly.NewCollector()
    			c.OnHTML("selector_for_title", func(e *colly.HTMLElement) {
    				if len(results) < numHeaders {
    					results = append(results, e.Text)
    					progress.SetValue(float64(len(results)) / float64(numHeaders))
    				}
    			})
    
    			// Начинаем парсинг
    			err := c.Visit(urlEntry.Text)
    			if err != nil {
    				log.Println("Ошибка при посещении URL:", err)
    			}
    		}()
    	})
    
    	saveButton := widget.NewButton("Сохранить в файл", func() {
    		if len(results) > 0 {
    			f := excelize.NewFile()
    			sheet := "Sheet1"
    
    			for i, title := range results {
    				f.SetCellValue(sheet, "A"+strconv.Itoa(i+1), title)
    			}
    
    			if err := f.SaveAs("titles.xlsx"); err != nil {
    				log.Println("Ошибка при сохранении файла:", err)
    			}
    		}
    	})
    
    	myWindow.SetContent(container.NewVBox(
    		urlEntry,
    		rangeEntry,
    		countEntry,
    		startButton,
    		progress,
    		saveButton,
    	))
    	myWindow.ShowAndRun()
    }
    
    func ChromeAuth(url string) {
    	ctx, cancel := chromedp.NewContext(context.Background())
    	defer cancel()
    
    	var res string
    	if err := chromedp.Run(ctx,
    		chromedp.Navigate(url),
    		chromedp.WaitVisible("body"), // Ждем загрузки страницы
    		chromedp.OuterHTML("body", &res),
    	); err != nil {
    		log.Fatalf("Ошибка при авторизации: %v", err)
    	}
    	fmt.Println("Браузер открыт для авторизации.")
    }
    

    Описание кода:

    1. Импорт библиотек: Импорт необходимых библиотек для работы с графическим интерфейсом, парсинга и работы с Excel.
    2. Создание приложения: Создаем основное окно приложения с полями для ввода URL, диапазона заголовков и их количества.
    3. Парсинг заголовков: Используем Colly для сбора заголовков.
    4. Авторизация в браузере: Используем chromedp для открытия браузера, чтобы пользователь мог залогиниться.
    5. Прогресс-бар: Отображает прогресс парсинга заголовков.
    6. Сохранение в файл: Данные можно сохранить в Excel по нажатию кнопки.

    Инструкции для запуска:

    1. Убедитесь, что у вас установлены все необходимые библиотеки.
    2. Запустите приложение с помощью go run main.go.
    3. Введите необходимые параметры и нажмите "Начать парсинг".

    Примечания:

    • Замените selector_for_title на актуальный селектор для заголовков, которые вы хотите парсить.
    • Вам может понадобиться дополнительная обработка для авторизации, в зависимости от того, как ваш сайт управляет сессиями пользователей.