мне нужно дополнить код для нагрузочного тестирования на джава. две программы, с…
- User
мне нужно дополнить код для нагрузочного тестирования на джава. две программы, с которыми надо работать: PackageLT - класс, в котором можно вызвать функции для нагрузочного тестирования и Feeders - в нем записаны пути к файлам с запросами на сервер для разных функций. суть такая. надо отправлять запросы на сервер. надо запустить функцию appMMBLoadTesting в PackageLT и остановить выполнение кода в 23:59. затем собрать новый файл с запросами (у меня есть код который это делает, но на питоне), обновить путь к новому файлу в Feeders и запустить функцию appMMBLoadTesting еще раз. и так несколько дней подряд, то есть таких итераций будет 2-3. package ru.sber.pprb.mars.spr.lt.gatling.test;
import ru.sber.pprb.mars.spr.lt.config.OttConfigProperties; import ru.sber.pprb.mars.spr.lt.gatling.scenario.*; import io.gatling.app.Gatling; import io.gatling.core.config.GatlingPropertiesBuilder; import lombok.extern.slf4j.Slf4j; import org.junit.jupiter.api.Test; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.autoconfigure.EnableAutoConfiguration; import org.springframework.boot.test.context.SpringBootTest; import ru.sber.pprb.mars.spr.lt.services.OTTService;
import static org.hamcrest.MatcherAssert.assertThat; import static org.hamcrest.Matchers.is;
@Slf4j @SpringBootTest(classes = {OttConfigProperties.class}) @EnableAutoConfiguration public class PackageLT { @Autowired OttConfigProperties ottConfigProperties;
final GatlingPropertiesBuilder properties = new GatlingPropertiesBuilder() .resourcesDirectory("./src/main/resources") .resultsDirectory("./target/gatling"); /** * Запускаем прогон НТ и формируем файл с результатом * Заявка */ @Test public void appMMBLoadTesting() { log.info("Запуск разового прогона скриптов"); OrchestratorStrategy.test = "test"; OrchestratorStrategy.strategy="applicationMMB"; OrchestratorStrategy.repeatFile="result\\1715699813726\\repeat.csv"; OrchestratorStrategy.ottService = new OTTService(ottConfigProperties); log.info("Параметры запуска: ott-{}", ottConfigProperties.isEnabled()); runSimulation(OrchestratorStrategy.class.getName()); }спрашивай если нужна доп инфа
- Assistant
Для решения вашей задачи необходимо модифицировать код таким образом, чтобы он выполнял функцию
appMMBLoadTesting, ожидал до конца суток, обновлял путь к файлу в классеFeeders, а затем снова запускал эту функцию на следующий день. Поскольку Java не поддерживает планирование задач из коробки, возможно, вам понадобится использовать стороннюю библиотеку, например,Quartz, или просто использовать бесконечный цикл с проверкой времени.Первый шаг — убедиться, что класс
Feedersпозволяет динамически менять путь к файлу. Я предполагаю, что вFeedersу вас есть метод для установки нового пути к файлу запросов. Если нет, вам нужно будет добавить такой метод.Примерно так мог бы выглядеть ваш основной код:
import java.time.LocalTime; import java.util.concurrent.TimeUnit; public class LoadTestRunner { PackageLT packageLT = new PackageLT(); // Объект вашего класса Feeders feeders = new Feeders(); // Объект класса Feeders, предполагаем, что у вас он есть public static void main(String[] args) { LoadTestRunner runner = new LoadTestRunner(); runner.runLoadTestingDaily(); } public void runLoadTestingDaily() { // Запускаем процесс в бесконечном цикле while (true) { try { // Запускаем нагрузочное тестирование packageLT.appMMBLoadTesting(); // Ожидаем до 23:59 waitForEndOfDay(); // Генерируем новый файл запросов и обновляем путь в Feeders generateNewRequestsFile(); // Поскольку script бегает в бесконечном цикле, // в случае если есть определенное количество итераций, вам нужно их учитывать // и прерывать из цикла после выполнения требуемого количества // прогона } catch (Exception e) { e.printStackTrace(); break; // выходим из цикла в случае ошибки } } } private void waitForEndOfDay() throws InterruptedException { LocalTime targetTime = LocalTime.of(23, 59); while (LocalTime.now().isBefore(targetTime)) { TimeUnit.MINUTES.sleep(1); // Ожидаем минуту перед каждой проверкой, чтобы снизить нагрузку } } private void generateNewRequestsFile() { // Ваш код на Python можно обернуть в вызов ProcessBuilder или использовать Java для той же задачи // Например, если у вас есть метод generateFile в Python: // ProcessBuilder processBuilder = new ProcessBuilder("python", "path/to/your/script.py"); // processBuilder.start(); // Затем задаем новый путь в Feeders, предполагаем, у вас есть метод для этого feeders.setPathToRequests("новый путь к файлу"); } }Предположения и Дополнения:
-
Динамика пути в Feeders: Убедитесь, что вы можете динамически изменять путь к файлу в
Feeders. Измените вызовsetPathToRequests("новый путь к файлу")на что-то соответствующее вашему коду. -
Запуск Python из Java: Если генерирование нового файла происходит через сторонний Python-скрипт, вы можете вызвать его с использованием
ProcessBuilder. Пример привел в коде выше. -
Уменьшение нагрузки: Ожидание до 23:59 реализовано с проверкой каждую минуту для снижения нагрузки на систему. Вы можете настроить это на более частый интервал, если потребуется.
Используйте этот шаблон как отправную точку и адаптируйте его под ваши нужды, учитывая детали вашей среды.
-
- User
я не могу динамически менять Feeders. но суть изменений простая, можно сделать путь к файлу с помощью f-строки, где в названии файла будет в конце текущая дата формата 20240923
- Assistant
Если вы не можете динамически менять путь к файлу, но путь зашит в классе
Feeders, эффективным способом будет корректировка пути с учетом текущей даты. Вы можете использовать форматирование строк в Java, подобно f-строкам в Python, чтобы формировать путь к файлу с использованием текущей даты.Вот как можно сделать:
-
Метод для получения текущей даты в нужном формате:
Используем Java 8 и выше для получения текущей даты в формате
yyyyMMdd.import java.time.LocalDate; import java.time.format.DateTimeFormatter; public class DateUtils { public static String getCurrentDateFormatted() { DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyyMMdd"); LocalDate currentDate = LocalDate.now(); return currentDate.format(formatter); } } -
Формирование пути в
Feeders:Предположим, что в классе
Feedersесть строковая переменная, которая содержит путь к файлу. Вам нужно будет отредактировать этот путь, используя методgetCurrentDateFormatted.Например:
public class Feeders { private static final String BASE_PATH = "path/to/requests/file_"; public static String getPathToRequests() { return BASE_PATH + DateUtils.getCurrentDateFormatted() + ".csv"; } } -
Измените ваш код, чтобы использовался новый путь:
В классе, где вы работаете с
Feeders, просто обращайтесь к его методу для формирования полного пути. Например, при построении объекта пути к файлу или выгрузке нового файла:public class LoadTestRunner { public static void main(String[] args) { LoadTestRunner runner = new LoadTestRunner(); runner.runLoadTestingDaily(); } public void runLoadTestingDaily() { while (true) { try { // Убедитесь, что `Feeders.getPathToRequests()` предоставляет нужный путь String currentFilePath = Feeders.getPathToRequests(); // Ваша логика генерации нового файла и, возможно, обновления или обработки generateNewRequestsFile(currentFilePath); // Запуск теста с использованием PackageLT // Обновите путь здесь, если приходится использовать его как аргумент или каким-либо образом PackageLT packageLT = new PackageLT(); packageLT.appMMBLoadTesting(); waitForEndOfDay(); } catch (Exception e) { e.printStackTrace(); break; // пo возможности корректно завершите цикл при ошибках } } } private void waitForEndOfDay() throws InterruptedException { // Ожидание до 23:59, как ранее LocalTime targetTime = LocalTime.of(23, 59); while (LocalTime.now().isBefore(targetTime)) { TimeUnit.MINUTES.sleep(1); } } private void generateNewRequestsFile(String filePath) { // Обработка создания файла запросов // Используйте `filePath` для доступа к нужному файлу или его генерации } }
Возможные улучшения:
- Обработка исключений: Добавьте обработку исключений, чтобы ваша программа не завершалась преждевременно в случае ошибок.
- Логирование: Используйте систему логирования для отслеживания состояния выполнения и отладки.
Этот подход позволит вам автоматизировать процесс смены файлов с запросами ежедневно, без необходимости вносить изменения в исходный код каждый раз.
-
- User
а почему создается новый класс LoadTestRunner но не импортируются функции или другие классы чтоб вызывать функцию
- Assistant
Для того чтобы обеспечить вызов метода
appMMBLoadTestingиз классаPackageLTв вашем цикле, вы должны правильно использовать классы и импортировать необходимые вещи. Возможно, у вас возникло недоразумение из-за того, что я представил пример в котором создается новый классLoadTestRunnerи не было явно показано, как использовать методы и свойства из существующих классов.Вот как это можно сделать:
-
Импорт классов: Если ваши классы находятся в одном пакете, возможно, вам не нужно осуществлять импорт явно. Однако, если они находятся в разных пакетах, вы должны импортировать их в начале вашего класса
LoadTestRunner. -
Создание экземпляров: Вы можете создать экземпляр существующего класса и вызвать его методы. Если
PackageLTимеет автоконфигурацию через Spring, вы можете вызвать метод непосредственно, иначе вам потребуется создать объект класса вручную.
Полный пример, учитывая использование:
import ru.sber.pprb.mars.spr.lt.gatling.test.PackageLT; import ru.sber.pprb.mars.spr.lt.gatling.test.Feeders; // Импортируем другие необходимые классы import java.time.LocalTime; import java.util.concurrent.TimeUnit; public class LoadTestRunner { public static void main(String[] args) { LoadTestRunner runner = new LoadTestRunner(); runner.runLoadTestingDaily(); } public void runLoadTestingDaily() { PackageLT packageLT = new PackageLT(); // Создаем экземпляр PackageLT while (true) { // Ваш бесконечный цикл для ежедневного выполнения try { // Вызов вашего тестового метода packageLT.appMMBLoadTesting(); // Ожидание до конца дня waitForEndOfDay(); // Генерируем новый файл запросов и обновляем путь generateNewRequestsFile(); // Обновляем путь к файлу в Feeders String newFilePath = Feeders.getPathToRequests(); // Предполагается, что путь обновляется автоматически } catch (Exception e) { e.printStackTrace(); // Обработка ошибок break; // Выходим из цикла при ошибке (опционально) } } } private void waitForEndOfDay() throws InterruptedException { // Реализуем ожидание до 23:59 LocalTime targetTime = LocalTime.of(23, 59); while (LocalTime.now().isBefore(targetTime)) { TimeUnit.MINUTES.sleep(1); // Пауза перед каждой проверкой } } private void generateNewRequestsFile() { // Реализуем логику генерации нового файла запросов // Можно вызвать внешний Python-скрипт, если нужно // Например, через ProcessBuilder } }Обратите внимание:
-
Создание объекта
PackageLT: В этом примере создается новый объект классаPackageLT, что позволяет вам вызывать методы этого класса. Если вы используете Spring и ваш класс является компонентом Spring, возможно, нужно будет использовать контекст Spring для его создания. -
Импорт классов: Убедитесь, что вы импортировали все нужные классы из вашего проекта. Если классы находятся в одном и том же пакете, импорт может быть не нужен.
-
Как
Feedersполучает новый путь: Предполагается, что методFeeders.getPathToRequests()возвращает актуальный путь к запросам с учетом текущей даты. Интеграция этого механизма зависит от реализации вашегоFeedersиPackageLT. -
Ошибка и завершение: Цикл на данный момент будет прерываться в случае необработанного исключения, но вы можете изменить эту логику в зависимости от того, как хотите обрабатывать ошибки.
Этот код — отправная точка, и вам может потребуется адаптировать его под специфическую архитектуру вашего проекта.
-
- User
в feeders я так сделал. с учетом этого исправь код основной
- Assistant
Отлично, давайте скорректируем основной код на основе предположения, что вы успешно изменили
Feedersдля получения пути к файлу с указанием текущей даты.Предположим, что
Feedersтеперь содержит методgetPathToRequests(), который уже автоматически формирует и возвращает корректный путь с датой. Таким образом, не нужно отдельно задавать путь к файлу, система сама справится с этой задачей.Вот как может выглядеть обновленный код:
import ru.sber.pprb.mars.spr.lt.gatling.test.PackageLT; import ru.sber.pprb.mars.spr.lt.gatling.test.Feeders; import java.time.LocalTime; import java.util.concurrent.TimeUnit; public class LoadTestRunner { public static void main(String[] args) { LoadTestRunner runner = new LoadTestRunner(); runner.runLoadTestingDaily(); } public void runLoadTestingDaily() { PackageLT packageLT = new PackageLT(); // Создаем экземпляр вашего тестового класса while (true) { try { // Вызов вашего тестового метода и использование пути к файлу запросов System.out.println("Текущий файл запросов: " + Feeders.getPathToRequests()); packageLT.appMMBLoadTesting(); // Ожидаем до конца дня waitForEndOfDay(); // На следующий день у нас автоматически обновится путь к запросам из Feeders, // предположительно без дополнительных действий } catch (Exception e) { e.printStackTrace(); break; // Выйти из цикла при необработанном исключении } } } private void waitForEndOfDay() throws InterruptedException { LocalTime targetTime = LocalTime.of(23, 59); while (LocalTime.now().isBefore(targetTime)) { TimeUnit.MINUTES.sleep(1); // Ожидание в цикле каждую минуту } } }Ключевые моменты:
-
Путь к файлу запросов: Предположительно,
Feeders.getPathToRequests()формирует путь с учетом текущей даты. При каждом вызовеappMMBLoadTesting, метод использует актуальный путь к файлу запросов. -
Бесконечный цикл: Программа будет работать каждый день, ждать конца дня, запускать тесты, автоматически используя свежий файл запросов благодаря измененному
Feeders. -
Обработка ошибок: В случае возникновения ошибок, они будут напечатаны, и выполнение основного цикла будет остановлено.
-
Логирование: В настоящее время информация о текущем запросе выводится на консоль с помощью
System.out.println. Если у вас используется какой-то логгер (например, Log4j или SLF4J), замените на соответствующий вызов логгера.
Убедитесь, что поддерживаются все необходимые версии библиотек и инфраструктуры для корректной работы предложенного решения в вашей среде.
-
- User
сори, так сделал в feeders public static FeederBuilder appMMB = separatedValues("data\appMMB\ncl_appMMB_" + DateUtils.getCurrentDateFormatted() + ".csv", '$').queue();
- Assistant
Спасибо за пояснение относительно конфигурации класса
Feeders. ЕслиFeederBuilderс именемappMMBавтоматически использует текущую дату черезDateUtils.getCurrentDateFormatted(), это означает, что вам не нужно дополнительно изменять путь в своем цикле обработки тестов.Вот как можно составить основной класс, использующий уже настроенный
FeederBuilder:import ru.sber.pprb.mars.spr.lt.gatling.test.PackageLT; // Импорт других необходимых классов import java.time.LocalTime; import java.util.concurrent.TimeUnit; public class LoadTestRunner { public static void main(String[] args) { LoadTestRunner runner = new LoadTestRunner(); runner.runLoadTestingDaily(); } public void runLoadTestingDaily() { PackageLT packageLT = new PackageLT(); // Создаем экземпляр вашего тестового класса while (true) { try { // Если нужно, используйте путь из Feeders для логирования // System.out.println("Current request file: " + Feeders.appMMB); // Запускаем нагрузочное тестирование packageLT.appMMBLoadTesting(); // Ждем до конца текущего дня waitForEndOfDay(); // Поскольку Feeder автоматически подхватывает файл с новой датой, // нам не нужно ничего дополнительно менять } catch (Exception e) { e.printStackTrace(); break; // Выйти из цикла при исключении } } } private void waitForEndOfDay() throws InterruptedException { LocalTime targetTime = LocalTime.of(23, 59); while (LocalTime.now().isBefore(targetTime)) { TimeUnit.MINUTES.sleep(1); // Пауза в ожидании конца дня } } }Краткие пояснения:
-
Использование FeederBuilder: С изменением в
Feeders, протесты, использующиеappMMB, автоматически работают с корректным файлом на основе текущей даты. Убедитесь, что этотFeederBuilderиспользуется именно там, где требуется в вашем сценарии. -
Цикл ожидания: Программа ежедневно ждёт до конца дня (23:59), после чего переходит к следующему циклу выполнения тестов.
-
Обработка ошибок: Исключения обрабатываются, а выполнение программы при этом останавливается. Для логгирования ошибок можно использовать сторонний логгер, если он уже настроен в вашем проекте.
-
Отсутствие необходимости обновлять путь вручную: Благодаря вашей конфигурации в
Feeders, путь к файлу обновляется автоматически при каждой новой дате.
Эти изменения должны соответствовать вашему описанию и помогут автоматизировать процессы с учётом новой структуры.
-
- User
а создание файла нового через питон? добавь это и поясни что нужно сделать чтобы скрипт сработал? надо поместить его в ту же папку и он автоматом запустится?
- Assistant
Для автоматического запуска Python-скрипта из Java можно использовать класс
ProcessBuilder. Этот класс позволяет выполнять внешние процессы, включая запуск скриптов и программ. Для этого скрипт должен быть доступен по указанному пути. Мы предполагаем, что Python установлен и добавлен в переменные среды системы, чтобы его можно было вызывать из консоли.1. Создание Python-скрипта
Предположим, что ваш Python-скрипт называется
generate_requests.pyи находится в той же директории, что и ваш Java-код. Содержимое скрипта может выглядеть так:# generate_requests.py import os from datetime import datetime def generate_file(): # Пример логики создания нового файла today_date = datetime.now().strftime('%Y%m%d') file_path = f"data/appMMB/ncl_appMMB_{today_date}.csv" # Пример создания пустого файла (либо сгенерируйте содержимое по вашей логике) with open(file_path, 'w') as f: f.write('header1,header2,header3\n') # пример заголовков CSV if __name__ == "__main__": generate_file()2. Запуск Python-скрипта из Java
Модифицируем Java-код для использования
ProcessBuilderдля запуска скрипта:import ru.sber.pprb.mars.spr.lt.gatling.test.PackageLT; // Импорт других необходимых классов import java.io.IOException; import java.time.LocalTime; import java.util.concurrent.TimeUnit; public class LoadTestRunner { public static void main(String[] args) { LoadTestRunner runner = new LoadTestRunner(); runner.runLoadTestingDaily(); } public void runLoadTestingDaily() { PackageLT packageLT = new PackageLT(); // Создаем экземпляр вашего тестового класса while (true) { try { // Запуск генерации нового файла через Python-скрипт generateNewRequestsFile(); // Запускаем нагрузочное тестирование packageLT.appMMBLoadTesting(); // Ждем до конца текущего дня waitForEndOfDay(); } catch (Exception e) { e.printStackTrace(); break; // Выйти из цикла при исключении } } } private void waitForEndOfDay() throws InterruptedException { LocalTime targetTime = LocalTime.of(23, 59); while (LocalTime.now().isBefore(targetTime)) { TimeUnit.MINUTES.sleep(1); // Пауза в ожидании конца дня } } private void generateNewRequestsFile() throws IOException, InterruptedException { // Создание процесса для запуска Python-скрипта ProcessBuilder processBuilder = new ProcessBuilder("python", "generate_requests.py"); processBuilder.inheritIO(); // Чтобы вывод скрипта показывался в консоли Java Process process = processBuilder.start(); int exitCode = process.waitFor(); // Ждем окончания процесса if (exitCode != 0) { throw new RuntimeException("Ошибка при выполнении Python-скрипта"); } } }Краткие пояснения:
-
Расположение скрипта: Убедитесь, что
generate_requests.pyнаходится в корневом каталоге, откуда запускается Java-программа, или используйте абсолютный путь к скрипту. -
Убедитесь, что Python добавлен в PATH: Python должен быть установлен и настроен так, чтобы его можно было вызвать из командной строки/терминала путем ввода
python. -
ProcessBuilder:
processBuilder.inheritIO()позволяет выводить ошибки и информацию от Python-скрипта в консоль Java. Это полезно для отладки.process.waitFor()ожидает завершения выполнения скрипта.- Обработка исключений (
IOException,InterruptedException) добавлена для контроля ошибок, которые могут возникнуть при запуске процесса.
Проверьте, чтобы ваш скрипт работал как надо в одиночном режиме из командной строки перед интеграцией с Java-кодом. Эта проверка упростит отладку в случае, если возникают проблемы на стороне Java.
-
- User
почему через jupyter поставилось, а в пайчарм не ставится так PS C:\Users\22240938\Desktop\пакеты\PYTHON_Project> pip install --trusted-host pypi.org --trusted-host files.pythonhosted.org psycopg2 Collecting psycopg2 Downloading psycopg2-2.9.9-cp39-cp39-win_amd64.whl (1.2 MB) |████████████████████████████████| 1.2 MB 1.7 MB/s Installing collected packages: psycopg2 ERROR: Could not install packages due to an OSError: [WinError 5] Отказано в доступе: 'C:\Anaconda3\Lib\site-packages\psycopg2\_psycopg.cp39-win_amd64.pyd' Consider using the
--useroption or check the permissions.PS C:\Users\22240938\Desktop\пакеты\PYTHON_Project> pip install --trusted-host pypi.org --trusted-host files.pythonhosted.org psycopg2 Collecting psycopg2 Using cached psycopg2-2.9.9-cp39-cp39-win_amd64.whl (1.2 MB) Installing collected packages: psycopg2 ERROR: Could not install packages due to an OSError: [WinError 5] Отказано в доступе: 'C:\Anaconda3\Lib\site-packages\psycopg2\_psycopg.cp39-win_amd64.pyd' Consider using the
--useroption or check the permissions. - Assistant
Ошибка
[WinError 5] Отказано в доступепри установке пакета черезpipобычно связана с проблемами прав доступа или конфликтами с тем, что один из используемых файлов уже активно используется другой программой. Давайте рассмотрим несколько шагов, которые могут помочь вам решить эту проблему:-
Запустите Командную строку от имени администратора:
- Найдите ярлык
cmdилиПайчармна вашем компьютере. - Щелкните правой кнопкой мыши и выберите "Запуск от имени администратора".
- Повторите команду установки пакета
pip install psycopg2в этой административной командной строке.
- Найдите ярлык
-
Используйте аргумент
--user:- Если вы не имеете административных прав, вы можете установить пакет в папку пользователя:
pip install psycopg2 --user
- Если вы не имеете административных прав, вы можете установить пакет в папку пользователя:
-
Закройте Anaconda и Python-приложения:
- Убедитесь, что программы, которые могут использовать установленные пакеты (как, например, Anaconda или PyCharm), закрыты перед установкой.
-
Проверьте блокировку файлов:
- Поскольку путь связан с Anaconda, возможно, какая-то утилита Anaconda блокирует файлы. Закройте все запущенные приложения Anaconda и перезапустите их.
-
Убедитесь, что используете корректное окружение:
- В PyCharm стоит проверить, какое виртуальное окружение активно. Если вы используете Anaconda, убедитесь, что все команды выполняются в правильном окружении.
- Вы можете осуществить это, выбрав
Project InterpreterвSettingsвашего проекта.
-
Проверьте доступ к папкам:
- Убедитесь, что у вас есть разрешения для записи в директорию
C:\Anaconda3\Lib\site-packages.
- Убедитесь, что у вас есть разрешения для записи в директорию
-
Временное отключение антивируса:
- Иногда антивирусное программное обеспечение может блокировать доступ к файлам. Попробуйте временно его отключить и снова выполнить установку.
-
Попробуйте другой установщик пакета:
- Для некоторых пользователей установка
psycopg2может работать черезconda. Например, попробуйте:conda install psycopg2
- Для некоторых пользователей установка
Если после выполнения этих шагов проблема не исчезает, вы можете также рассмотреть возможность установки через графический интерфейс Anaconda Navigator или исследовать логи PyCharm на наличие дополнительных сообщений об ошибках, которые могут дать больше информации о проблеме.
-
- User
напиши на питоне скрипт который возвращает две строки типа date_start = "2024-09-20 18:32:00.000" date_end = "2024-09-20 18:48:14.000" но старт должен быть 00:00:00 сегодняшнего дня, а конец 23:59:59 сегодняшнего дня
- Assistant
Конечно! Мы можем написать Python-скрипт, который будет возвращать две строки с началом и концом сегодняшнего дня в формате
YYYY-MM-DD HH:MM:SS.sss. Для этого будем использовать модульdatetime.Вот пример такого скрипта:
from datetime import datetime, timedelta def get_start_and_end_of_today(): # Получаем текущую дату today = datetime.now() # Устанавливаем время начала и конца дня date_start = datetime(today.year, today.month, today.day, 0, 0, 0, 0) date_end = datetime(today.year, today.month, today.day, 23, 59, 59, 999000) # Преобразуем в строки в нужном формате date_start_str = date_start.strftime("%Y-%m-%d %H:%M:%S.%f")[:-3] date_end_str = date_end.strftime("%Y-%m-%d %H:%M:%S.%f")[:-3] return date_start_str, date_end_str # Получаем сроки начала и конца дня date_start, date_end = get_start_and_end_of_today() print("date_start =", date_start) print("date_end =", date_end)Пояснения:
-
datetime.now(): Используется для получения текущей даты и времени.
-
date_start и date_end: Эти переменные создаются с использованием только текущей даты, но с нужным временем начала и конца дня.
-
strftime("%Y-%m-%d %H:%M:%S.%f")[:-3]: Используется для форматирования даты и времени в нужную строку. Мы используем
[:-3]для обрезания миллисекунд до трёх знаков после точки, чтобы соответствовать форматуYYYY-MM-DD HH:MM:SS.sss.
Таким образом, вызов функции
get_start_and_end_of_today()возвращает две строки, которые вы можете использовать в вашем проекте или интегрировать с другими системами. -
- User
а в твоем последнем джава коде где можно задать путь для питоновского скрипта?
- Assistant
В последнем Java коде, где я предложил использовать
ProcessBuilderдля запуска Python-скрипта, вы можете задать путь к этому скрипту в самом конструктореProcessBuilder. Место, где вы указываете путь к скрипту, — это вторая строка массива аргументов конструктораProcessBuilder.Если Python-скрипт
generate_requests.pyнаходится не в той же директории, откуда запускается ваш Java-код, или если вы хотите указать абсолютный путь к скрипту, нужно просто изменить аргумент, передаваемый вProcessBuilder.Вот как это можно задать:
import ru.sber.pprb.mars.spr.lt.gatling.test.PackageLT; import java.io.IOException; import java.time.LocalTime; import java.util.concurrent.TimeUnit; public class LoadTestRunner { public static void main(String[] args) { LoadTestRunner runner = new LoadTestRunner(); runner.runLoadTestingDaily(); } public void runLoadTestingDaily() { PackageLT packageLT = new PackageLT(); // Создаем экземпляр вашего тестового класса while (true) { try { // Запуск генерации нового файла через Python-скрипт generateNewRequestsFile(); // Запускаем нагрузочное тестирование packageLT.appMMBLoadTesting(); // Ждем до конца текущего дня waitForEndOfDay(); } catch (Exception e) { e.printStackTrace(); break; // Выйти из цикла при исключении } } } private void waitForEndOfDay() throws InterruptedException { LocalTime targetTime = LocalTime.of(23, 59); while (LocalTime.now().isBefore(targetTime)) { TimeUnit.MINUTES.sleep(1); // Пауза в ожидании конца дня } } private void generateNewRequestsFile() throws IOException, InterruptedException { // Укажите путь к вашему Python-скрипту String pythonScriptPath = "C:\\path\\to\\your\\script\\generate_requests.py"; // Создание процесса для запуска Python-скрипта ProcessBuilder processBuilder = new ProcessBuilder("python", pythonScriptPath); processBuilder.inheritIO(); // Чтобы вывод скрипта показывался в консоли Java Process process = processBuilder.start(); int exitCode = process.waitFor(); // Ждем окончания процесса if (exitCode != 0) { throw new RuntimeException("Ошибка при выполнении Python-скрипта"); } } }Ключевые моменты:
-
pythonScriptPath: Здесь задается переменнаяpythonScriptPath, содержащая абсолютный путь к вашему Python-скрипту. Измените путь на тот, который соответствует расположению вашего скрипта на диске, включая и имя самого скрипта (generate_requests.py). -
Формат пути: Убедитесь, что путь к скрипту корректен и учитывает все особенности вашей файловой системы (например, экранирование символа
\в Windows или использование прямого/). -
Убедитесь, что Python в PATH: Python должна быть доступна через команду
pythonв командной строке. Убедитесь, что Python добавлен в системные переменные окружения PATH.
Таким образом, здесь просто уточняется, откуда именно будет запущен Python-скрипт, и вам нужно удостовериться, что указанный путь правильный и доступный для выполнения.
-
- User
почему джава создает дату на день раньше чем есть на самом деле
- Assistant
Если вы заметили, что Java создает дату на день раньше, чем ожидалось, это, вероятно, связано с проблемами, возникающими из-за часового пояса или конфигурации временной зоны. Вот несколько моментов, которые следует проверить и потенциальные решения:
-
Часовой пояс по умолчанию:
- Убедитесь, что часовой пояс вашей JVM установлен правильно. По умолчанию Java использует системные настройки на вашем компьютере.
- Чтобы явно установить часовой пояс, можно использовать
ZoneIdи классы из пакетаjava.timeв Java 8 и выше.
-
Использование временной зоны при создании даты:
При создании объекта даты в формате
LocalDate, используйтеZoneIdдля точного настройки временной зоны. Вот как это можно сделать:import java.time.LocalDate; import java.time.LocalDateTime; import java.time.ZoneId; import java.time.format.DateTimeFormatter; public class DateExample { public static void main(String[] args) { // Установите ZoneId на тот часовой пояс, который вам нужен ZoneId zoneId = ZoneId.systemDefault(); // или ZoneId.of("Europe/Moscow") // Используйте LocalDate или LocalDateTime в связке с ZonedDateTime LocalDate date = LocalDate.now(zoneId); LocalDateTime startOfDay = date.atStartOfDay(zoneId).toLocalDateTime(); LocalDateTime endOfDay = date.atTime(23, 59, 59, 999000); DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS"); String dateStartStr = startOfDay.format(formatter); String dateEndStr = endOfDay.format(formatter); System.out.println("date_start = " + dateStartStr); System.out.println("date_end = " + dateEndStr); } } -
Настройки системы:
- Убедитесь, что системные настройки вашего компьютера по часовому поясу и времени актуальны.
- Иногда изменения в настройках системы могут не быть сразу отражены в JVM. В таких случаях рестарт системы или JVM может помочь.
-
Локально установленные значения:
- Проверьте, нет ли в коде места, где часовой пояс явно жестко задан ранее или используются устаревшие способы получения текущего времени и даты (например, через
CalendarилиDate).
- Проверьте, нет ли в коде места, где часовой пояс явно жестко задан ранее или используются устаревшие способы получения текущего времени и даты (например, через
-
Среда выполнения:
- Убедитесь, что случаи ошибки не возникают из-за особенностей вашей среды выполнения, например, в Docker-контейнерах или облачных средах, которые могут иметь свои настройки по умолчанию.
Решив проблему с временной зоной и убедившись, что у вас всегда используется правильный часовой пояс, вы сможете получать корректные данные, отражающие действительное текущее время.
-
- User
я чуть подправил код, проверь. логика такая. есть файл с запросами, которые надо отправить на сервер с помощью джава метода. когда наступает 23:59 прога останавливается. и вызывается скрипт питон. после скрипта питона опять запускается метод джава package ru.sber.pprb.mars.spr.lt.gatling.test; import ru.sber.pprb.mars.spr.lt.gatling.test.PackageLT; import ru.sber.pprb.mars.spr.lt.gatling.utils.Feeders; // Импортируем другие необходимые классы
import java.time.LocalTime; import java.util.concurrent.TimeUnit; import java.io.IOException;
public class LoadTestRunner {
public static void main(String[] args) { LoadTestRunner runner = new LoadTestRunner(); runner.runLoadTestingDaily(); } public void runLoadTestingDaily() { PackageLT packageLT = new PackageLT(); // Создаем экземпляр вашего тестового класса while (true) { try { // Запускаем нагрузочное тестирование packageLT.appMMBLoadTesting(); // Ждем до конца текущего дня waitForEndOfDay(); // Запуск генерации нового файла через Python-скрипт generateNewRequestsFile(); } catch (Exception e) { e.printStackTrace(); break; // Выйти из цикла при исключении } } } private void waitForEndOfDay() throws InterruptedException { LocalTime targetTime = LocalTime.of(23, 59); while (LocalTime.now().isBefore(targetTime)) { TimeUnit.MINUTES.sleep(1); // Пауза в ожидании конца дня } } private void generateNewRequestsFile() throws IOException, InterruptedException { String pythonScriptPath = "C:\\Users\\22240938\\Desktop\\пакеты\\PYTHON_Project\\generate_requests.py"; // Создание процесса для запуска Python-скрипта ProcessBuilder processBuilder = new ProcessBuilder("python", pythonScriptPath); processBuilder.inheritIO(); // Чтобы вывод скрипта показывался в консоли Java Process process = processBuilder.start(); int exitCode = process.waitFor(); // Ждем окончания процесса if (exitCode != 0) { throw new RuntimeException("Ошибка при выполнении Python-скрипта"); } }}
- Assistant
Код, который вы представили, выглядит вполне логично и, похоже, соответствует предполагаемой задаче — выполнение нагрузочного тестирования, ожидание конца дня, выполнение Python-скрипта для генерации нового файла и продолжение работы. Однако существует несколько рекомендаций и улучшений, которые могут помочь:
Описание кода:
-
Цикл выполнения: Код запустит тесты, будет ждать до конца текущего дня, затем выполнит Python-скрипт и начнет новый цикл.
-
Обработка исключений: В случае возникновения исключений в блоке
try, они будут напечатаны, и выполнение цикла остановится. Это нормально, однако, если ваша задача предполагает беспрерывную работу программы, возможно, стоит вместо остановки просто логировать ошибку и продолжать цикл. -
Работа с Python-скриптом:
- Проверка пути: Убедитесь, что указанный в
pythonScriptPathпуть верный и скрипт находится в этом месте. - Проверка переменных среды: Убедитесь, что Python добавлен в переменные PATH вашей системы, чтобы можно было вызвать
pythonиз командной строки. Если ваша система используетpython3, заменитеpythonнаpython3вProcessBuilder.
- Проверка пути: Убедитесь, что указанный в
-
Улучшение логирования: Если в вашей системе используется логирование (например, Log4j или SLF4J), рассмотреть добавление логов для удачных событий и ошибок вместо использования
System.out. -
Ожидание конца дня: Использование
TimeUnit.MINUTES.sleep(1);— это хороший способ снизить нагрузку, но вы можете использовать более точные интервалы, если это приемлемо. При необходимости, можете также представить пользователю этапы работы (например, ожидание). -
Чтение выходных данных скрипта: Если есть необходимость анализировать вывод Python-скрипта, вы можете перенаправить вывод через
processBuilderи прочитать его в Java-коде.
Вот несколько предложений/улучшений:
private void generateNewRequestsFile() throws IOException, InterruptedException { String pythonScriptPath = "C:\\Users\\22240938\\Desktop\\пакеты\\PYTHON_Project\\generate_requests.py"; ProcessBuilder processBuilder = new ProcessBuilder("python", pythonScriptPath); processBuilder.inheritIO(); Process process = processBuilder.start(); int exitCode = process.waitFor(); if (exitCode != 0) { throw new RuntimeException("Ошибка при выполнении Python-скрипта. Код выхода: " + exitCode); } else { System.out.println("Python-скрипт выполнен успешно."); } }Важно:
-
Тестирование программы: Перед запуском убедитесь, что все части программы работают так, как ожидается. Особенно уделите внимание конфигурациям PATH, настройке окружения и корректному размещению скриптов.
-
Права доступа: При выполнении скриптов и программ проверьте, что у программы достаточно прав для чтения и записи в проводимые ей директории.
Коротко говоря, ваш код выглядит правильно, просто убедитесь, что все зависимости и путь к скрипту корректны для вашего окружения.
-
- User
есть еще нюанс. функция может выполняться очень долго, больше дня. гарантирует ли мой код принудительную остановку работы функции? если нет, то как можно это сделать?
- Assistant
Ваш текущий код не гарантирует, что функция
appMMBLoadTestingзавершится ровно в 23:59, если она будет запущена или продолжена после этого времени. Если функция может долго выполняться и это критично для вас, то можете рассмотреть различные подходы для обеспечения ее завершения или приостановки в установленное время:Варианты решения:
-
Установка тайм-аута для задачи:
Вы можете запустить
appMMBLoadTestingв отдельном потоке и задать тайм-аут для выполнения задачи. Если задача не завершится вовремя, вы можете попытаться ее прервать. -
Использование
FutureиExecutorService:Java предоставляет
ExecutorServiceиFuture, которые можно использовать для управления задачами с тайм-аутами. Позволяет четко задавать время ожидания выполнения операции.
Пример использования
ExecutorService:import ru.sber.pprb.mars.spr.lt.gatling.test.PackageLT; import java.time.LocalTime; import java.util.concurrent.*; public class LoadTestRunner { public static void main(String[] args) { LoadTestRunner runner = new LoadTestRunner(); runner.runLoadTestingDaily(); } public void runLoadTestingDaily() { while (true) { try { // Запускаем задачу с тайм-аутом runAppWithTimeout(); // Ждем до конца текущего дня waitForEndOfDay(); // Запуск генерации нового файла через Python-скрипт generateNewRequestsFile(); } catch (Exception e) { e.printStackTrace(); break; // Выйти из цикла при исключении } } } private void runAppWithTimeout() { ExecutorService executor = Executors.newSingleThreadExecutor(); PackageLT packageLT = new PackageLT(); Future<?> future = executor.submit(() -> { try { packageLT.appMMBLoadTesting(); } catch (Exception e) { e.printStackTrace(); // Логирование исключений вашей задачи } }); try { future.get(23, TimeUnit.HOURS); // Задать тайм-аут, например, на 23 часа } catch (TimeoutException e) { System.out.println("Timeout reached, cancelling the task."); future.cancel(true); // Отменяет задачу если тайм-аут достигнут } catch (InterruptedException | ExecutionException e) { e.printStackTrace(); } finally { executor.shutdown(); } } private void waitForEndOfDay() throws InterruptedException { LocalTime targetTime = LocalTime.of(23, 59); while (LocalTime.now().isBefore(targetTime)) { TimeUnit.MINUTES.sleep(1); } } private void generateNewRequestsFile() throws IOException, InterruptedException { String pythonScriptPath = "C:\\Users\\22240938\\Desktop\\пакеты\\PYTHON_Project\\generate_requests.py"; ProcessBuilder processBuilder = new ProcessBuilder("python", pythonScriptPath); processBuilder.inheritIO(); Process process = processBuilder.start(); int exitCode = process.waitFor(); if (exitCode != 0) { throw new RuntimeException("Ошибка при выполнении Python-скрипта. Код выхода: " + exitCode); } else { System.out.println("Python-скрипт выполнен успешно."); } } }Рекомендации:
-
Тайм-аут выполнения: Параметр в
future.get(time, TimeUnit)должен соответствовать максимальному времени выполнения задачи. Например, если задача должна завершиться до конца дня, учитывайте доступное время с момента запуска. -
Обработка тайм-аута: Вызывается
future.cancel(true), чтобы попытаться прервать выполнение задачи, если тайм-аут превышен. Однако это не гарантирует мгновенной остановки, особенно если задача не поддерживает прерывания. -
Наблюдение за ресурсами: Следует учитывать, что при использовании тайм-аутов и принудительных завершений может быть незавершенная работа или ресурсы, которые должны быть освобождены вручную.
Этот подход позволяет вам контролировать выполнение задачи и гарантировать ее завершение в рамках заданного временного интервала.
-
- User
а можно в саму функцию прописать остановку отправки запросов в 23:59? package ru.sber.pprb.mars.spr.lt.gatling.scenario;
import com.sbt.ott.api.client.interfaces.TokenResult; import io.gatling.javaapi.core.ChainBuilder; import io.gatling.javaapi.core.PopulationBuilder; import io.gatling.javaapi.core.ScenarioBuilder; import io.gatling.javaapi.core.Simulation; import io.gatling.javaapi.http.HttpProtocolBuilder; import io.netty.handler.codec.http.HttpHeaderNames; import io.netty.handler.codec.http.HttpHeaderValues; import lombok.SneakyThrows; import lombok.Synchronized; import lombok.extern.slf4j.Slf4j; import ru.sber.pprb.mars.spr.lt.gatling.utils.Feeders; import ru.sber.pprb.mars.spr.lt.gatling.utils.dto.RepeatResult; import ru.sber.pprb.mars.spr.lt.services.OTTService;
import java.io.File; import java.io.FileWriter; import java.io.IOException; import java.time.Duration; import java.util.concurrent.atomic.AtomicInteger;
import static io.gatling.javaapi.core.CoreDsl.*; import static io.gatling.javaapi.http.HttpDsl.http; import static io.gatling.javaapi.http.HttpDsl.status;
@Slf4j public class OrchestratorStrategy extends Simulation { public static String test = null; public static String strategy = null; public static OTTService ottService = null; public static String repeatFile = null; private static AtomicInteger count; private static final AtomicInteger i = new AtomicInteger();
public static String URL = "ссылка"; private static FileWriter fileError; // настройка протокола http HttpProtocolBuilder httpProtocol = http.baseUrl(URL) .sign(request -> { if (ottService.isEnable()) { TokenResult tokenResult = ottService.getTokenResult(); request.getHeaders().add("ott-token", tokenResult.getTokenCompactSerialization()); request.getHeaders().add("ott-hash", tokenResult.hash(request.getBody().getBytes())); } }) .transformResponse((response, session) -> { if (response.status().code() != 200) writeErrorLine(RepeatResult.builder() .uuid(session.get("uuid")) .request(new String(response.request().getBody().getBytes()).replaceAll("\r\n","\t")) .response(response.status().reasonPhrase() + " " + response.body().string().replaceAll("\r\n","\t")) .build().toString()); return response; }); ScenarioBuilder applicationMMBLT = scenario("applicationMMBLT") .asLongAs(session -> count.decrementAndGet() >= 0) .on(exec(MmbStrategy.applicationStrategy())); { count = test.equals("debug") ? new AtomicInteger(10) : countByFeeder(); log.info("Пулл {}", count.get()); setUp(switchLoad()).protocols(httpProtocol); } @SneakyThrows @Override public void before() { File file = new File("./result/" + System.currentTimeMillis() + "/repeat.csv"); file.getParentFile().mkdirs(); fileError = new FileWriter(file); fileError.write(String.join(";", new String[]{"uuid", "request", "response"})); fileError.write("\n"); fileError.flush(); } @SneakyThrows @Override public void after() { fileError.close(); log.info("Завершили запись файла {}!", fileError); } @Synchronized public void writeErrorLine(String line) { try { fileError.write(line); fileError.write("\n"); i.getAndIncrement(); if (i.get() % 10 == 0) fileError.flush(); } catch (IOException e) { log.error("{}", line); } } private AtomicInteger countByFeeder() { return switch (strategy) { case "applicationMMB" -> new AtomicInteger(Feeders.appMMB.recordsCount()); default -> throw new IllegalStateException("Не выбран тип стратегии для запуска"); }; } private PopulationBuilder switchLoad() { if (test.equals("debug")) { return switch (strategy) { case "applicationMMB" -> applicationMMBLT.injectOpen(atOnceUsers(5)); default -> throw new IllegalStateException("Не выбран тип стратегии для запуска"); }; } else { return switch (strategy) { case "applicationMMB" -> applicationMMBLT.injectClosed(constantConcurrentUsers(2).during(Duration.ofMinutes(510))); default -> throw new IllegalStateException("Не выбран тип стратегии для запуска"); }; } } static class MmbStrategy { @SneakyThrows public static ChainBuilder applicationStrategy() { return feed(Feeders.uuid32) .feed(Feeders.appMMB) .exec( http("applicationStrategy") .post("/v1/execute") .header( HttpHeaderNames.CONTENT_TYPE, String.valueOf(HttpHeaderValues.APPLICATION_JSON)) .requestTimeout(60000) .body(ElFileBody("data/requestCommonTemplate.json")) .check(status().is(200)) .check(bodyLength().exists()) ); } - Assistant
Для того чтобы остановить отправку запросов ровно в 23:59, можно добавить условие времени окончания в ваш сценарий. Поскольку ваши сценарии написаны с использованием API Gatling, вам нужно будет добавить проверку времени в условие
asLongAs, чтобы завершить сценарий при достижении указанного времени.Вот пример того, как можно модифицировать вашу логику сценария с учетом времени:
import java.time.LocalTime; // ... ScenarioBuilder applicationMMBLT = scenario("applicationMMBLT") .asLongAs(session -> { boolean isCountValid = count.decrementAndGet() >= 0; boolean isBeforeEndTime = LocalTime.now().isBefore(LocalTime.of(23, 59)); return isCountValid && isBeforeEndTime; // проверка на остаток счетчика и время }) .on(exec(MmbStrategy.applicationStrategy())); // ...Объяснение изменений:
-
Добавление проверки времени:
ВasLongAs, вместе с условием по количеству оставшихся запросов (счетчикcount), добавляется условие проверки текущего времени. Мы используемLocalTime.now().isBefore(LocalTime.of(23, 59)), чтобы убедиться, что сценарий не продолжает выполняться после 23:59. -
Логика проверки:
С помощью логического "и" (&&) комбинируется два условия: одно проверяет, что остались непосланные запросы (isCountValid), а другое проверяет текущее время (isBeforeEndTime). Сценарий продолжает выполняться, пока оба условия истинны.
Дополнительные замечания:
-
Точность: Это решение предполагает, что сценарий не попадет в проблему расхождения, и запрос действительно остановится вовремя. В крайнем случае может быть небольшая задержка из-за скорости выполнения.
-
Тестирование: Убедитесь, что это изменение протестировано в среде, максимально приближенной к боевой, чтобы проверить его поведение в реальных условиях.
Такое решение должно помочь вам завершить процесс отправки к 23:59 каждый день, интегрировав контроль времени непосредственно в сценарий Gatling.
-