Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· openaiHugging Face Suzhen/CodeChat

<blockquote class="card-blockquote"> Молчат, через 4 секунды ложат трубку <span…

  1. User

    проблема здесь в том, что span class type находится внутри blockquote, нужно регулярное выражение, которое убирает внутри blockqoute span class type

    В конечном счете у меня получается такой текст: "Молчат, через 4 секунды ложат трубку Неадекваты", а надо "Молчат, через 4 секунды ложат трубку".

    код: const express = require("express"); const ejs = require("ejs"); const mongoose = require("mongoose"); const request = require("request"); const cheerio = require("cheerio"); const fs = require("fs");

    const app = express();

    // Установка EJS в качестве шаблонизатора app.set('view engine', 'ejs');

    // Подключение к MongoDB mongoose.connect('mongodb://127.0.0.1/phoneNumbers', { useNewUrlParser: true, useUnifiedTopology: true });

    // Определение схемы и модели для хранения номеров телефонов const PhoneNumberSchema = new mongoose.Schema({ number: { type: String, index: true }, url: String, comments: [String], callType: String });

    const PhoneNumber = mongoose.model('PhoneNumber', PhoneNumberSchema, 'phoneNumbers');

    // Функция для получения HTML-кода страницы function getHtml(url) { return new Promise((resolve, reject) => { request(url, (error, response, html) => { if (error) { reject(error); } else { resolve(html); } }); }); }

    // Функция для получения номеров телефонов и сохранения только новых номеров в базе данных async function getNewPhoneNumbers() { console.log("Запущен процесс поиска новых номеров...");

    const phoneNumbers = await PhoneNumber.find().sort({ _id: -1 }).limit(1); const lastPageUrl = phoneNumbers.length > 0 ? phoneNumbers[0].url : null; const newPhoneNumbers = [];

    // Получить HTML-код первой страницы с номерами телефонов const firstPageUrl = "https://zvonili.com/"; const firstPageHtml = await getHtml(firstPageUrl);

    // Использовать Cheerio для парсинга HTML-кода и извлечения информации о номере телефона const firstPage=cheerio.load(firstPageHtml);constphoneElements=firstPage = cheerio.load(firstPageHtml); const phoneElements = firstPage(".card-header");

    for (let index = 0; index < phoneElements.length; index++) { const element = phoneElements[index]; const phoneNumber = firstPage(element).find(".nomerlnk").text().trim();consturl=firstPage(element).find(".nomerlnk").text().trim(); const url = firstPage(element).find(".nomerlnk").attr("href"); const comments = firstPage(element).next().find("blockquote").text().trim();constcallTypeElements=firstPage(element).next().find("blockquote").text().trim(); const callTypeElements = firstPage(element).next().find("span.type"); const callType = callTypeElements.length > 0 ? callTypeElements.map((index, element) => $firstPage(element).text().trim()).get().join(", ") : "";

    // Добавить новый номер телефона в массив, если его еще нет в базе данных
    const existingPhoneNumber = await PhoneNumber.findOne({ number: phoneNumber });
    if (!existingPhoneNumber) {
      newPhoneNumbers.push({ number: phoneNumber, url: url, comments: comments.split('\n'), callType: callType });
    } else if (!existingPhoneNumber.comments.includes(comments)) {
      existingPhoneNumber.comments.push(comments);
      existingPhoneNumber.save();
    }
    
    // Если обработаны все номера телефонов, сохраняем новые номера в базу данных и выводим отладочную информацию
    if (index === phoneElements.length - 1) {
      console.log(`Найдено ${newPhoneNumbers.length} новых номеров телефонов.`);
      if (newPhoneNumbers.length > 0) {
        try {
          await PhoneNumber.create(newPhoneNumbers);
          console.log(`Добавлено ${newPhoneNumbers.length} новых номеров телефонов в базу данных.`);
        } catch (error) {
          console.error(`Ошибка при добавлении новых номеров телефонов: ${error.message}`);
        }
      }
    }
    

    } }

    // Создать маршрут для страницы с информацией о номере телефона app.get('/phone/:number', async (req, res) => { const phoneNumber = req.params.number; const matchedPhoneNumbers = await PhoneNumber.find({ number: phoneNumber });

    res.render('phone', { phoneNumbers: matchedPhoneNumbers }); });

    // Маршрут для главной страницы app.get("/", async (req,res) => { const phoneNumbers = await PhoneNumber.find().sort({ _id: -1 }).limit(20);

    const data = { phoneNumbers: phoneNumbers, lastPageUrl: phoneNumbers.length > 0 ? phoneNumbers[0].url : null, };

    res.render('index', data); });

    // Запустить процесс поиска новых номеров телефонов каждые 10 минут setInterval(getNewPhoneNumbers, 1 * 60 * 1000);

    // Запустить сервер const port = process.env.PORT || 3000; app.listen(port, () => { console.log(Сервер запущен на порту ${port}.); // Начать поиск новых номеров телефонов при запуске сервера getNewPhoneNumbers(); });

  2. Assistant

    Вам нужно изменить строку

    const comments = $firstPage(element).next().find("blockquote").text().trim();

    на

    const comments = $firstPage(element).next().find("blockquote").not('span.type').text().trim();

    таким образом, с помощью метода not() из библиотеки Cheerio вы исключите блоки span с классом type из полученного текста комментариев внутри блока blockquote.