Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

Привет!

  1. User

    Привет!

  2. Assistant

    Привет! Как я могу помочь тебе сегодня?

  3. User

    Мой вопрос: у меня есть кусочек скрипта на jenkins:

            parallel([
                Common_tests_win: {
                    node("ScadaV_Tests_Win") {
                        if (iCoreWinUploaded) {
                            testFunctions.TryExecute("Scada.SDK.Test")
                            sleep 10
                            testFunctions.TryExecute("Scada.Connect.Test")
                            sleep 10
                        }
                    }
                },
                Archive_advanced_tests_win: {
                    echo "Waits for common tests to complete"
                    node("ScadaV_Tests_Win") {
                        if (iCoreWinUploaded) {
                            testFunctions.TryExecute("ArchiveWriteFiles.Test")
                            sleep 10
                        }
                    }
                },
                Gate_advanced_tests_win: {
                    echo "Waits for common tests to complete"
                    node("ScadaV_Tests_Win") {
                        if (iCoreWinUploaded) {
                            testFunctions.TryExecute("Scaling.Tests")
                            sleep 10
                            testFunctions.TryExecute("ParsedEvents.Test")
                            sleep 10
                        }
                    }
                },
                Monitor_tests_win: {
                    echo "Waits for rest tests to complete"
                    node("ScadaV_Tests_Win") {
                        testFunctions.TryExecute("ScadaMonitor.Test")
                    }
                },
                Common_tests_Lin: {
                    node("ScadaV_Tests_Lin") {
                        if (iCoreLinUploaded) {
                            testFunctions.TryExecute("Scada.SDK.Test")
                            sleep 10
                            testFunctions.TryExecute("Scada.Connect.Test")
                            sleep 10
                        }
                    }
                },
                Archive_advanced_tests_Lin: {
                    echo "Waits for common tests to complete"
                    node("ScadaV_Tests_Lin") {
                        if (iCoreLinUploaded) {
                            testFunctions.TryExecute("ArchiveWriteFiles.Test")
                        }
                    }
                },
                Gate_advanced_tests_Lin: {
                    echo "Waits for common tests to complete"
                    node("ScadaV_Tests_Lin") {
                        if (iCoreLinUploaded) {
                            testFunctions.TryExecute("Scaling.Tests")
                            sleep 10
                            testFunctions.TryExecute("ParsedEvents.Test")
                            sleep 10
                        }
                    }
                },
                Monitor_tests_Lin: {
                    echo "Waits for rest tests to complete"
                    node("ScadaV_Tests_Lin") {
                        testFunctions.TryExecute("ScadaMonitor.Test")
                    }
                }
            ])
    

    Я хочу, чтобы параллели Gate_advanced_tests_* и Archive_advanced_tests_* могли идти одновременно, но беда в том, что они обе резервируют ноду, на которой может быть максимум 1 екзекьютор (таковы требования ,менять нельзя). Можешь помочь?

  4. Assistant

    Да, конечно! Ваша задача заключается в том, чтобы параллельные тесты, которые резервируют одну и ту же ноду, могли выполняться одновременно. Один из способов решения этой проблемы — создать дополнительный уровень параллелизма, который позволит вам запускать тесты в разных потоках для каждой платформы, но чтобы при этом не было конфликтов на уровне ноды.

    Вот пример, как можно модифицировать ваш скрипт, чтобы Gate_advanced_tests_* и Archive_advanced_tests_* выполнялись параллельно между собой, но при этом оставаться серией для каждой платформы:

    // Функция для запуска Advanced Tests
    def runAdvancedTests(nodeName, iCoreUploaded, testType) {
        node(nodeName) {
            if (iCoreUploaded) {
                if (testType == "Archive") {
                    echo "Running Archive Advanced Tests"
                    testFunctions.TryExecute("ArchiveWriteFiles.Test")
                } else if (testType == "Gate") {
                    echo "Running Gate Advanced Tests"
                    testFunctions.TryExecute("Scaling.Tests")
                    sleep 10
                    testFunctions.TryExecute("ParsedEvents.Test")
                    sleep 10
                }
            }
        }
    }
    
    // Параллельные тесты
    parallel([
        Common_tests_win: {
            node("ScadaV_Tests_Win") {
                if (iCoreWinUploaded) {
                    testFunctions.TryExecute("Scada.SDK.Test")
                    sleep 10
                    testFunctions.TryExecute("Scada.Connect.Test")
                    sleep 10
                }
            }
        },
        Archive_advanced_tests_win: {
            runAdvancedTests("ScadaV_Tests_Win", iCoreWinUploaded, "Archive")
        },
        Gate_advanced_tests_win: {
            runAdvancedTests("ScadaV_Tests_Win", iCoreWinUploaded, "Gate")
        },
        Monitor_tests_win: {
            echo "Waits for rest tests to complete"
            node("ScadaV_Tests_Win") {
                testFunctions.TryExecute("ScadaMonitor.Test")
            }
        },
        Common_tests_Lin: {
            node("ScadaV_Tests_Lin") {
                if (iCoreLinUploaded) {
                    testFunctions.TryExecute("Scada.SDK.Test")
                    sleep 10
                    testFunctions.TryExecute("Scada.Connect.Test")
                    sleep 10
                }
            }
        },
        Archive_advanced_tests_Lin: {
            runAdvancedTests("ScadaV_Tests_Lin", iCoreLinUploaded, "Archive")
        },
        Gate_advanced_tests_Lin: {
            runAdvancedTests("ScadaV_Tests_Lin", iCoreLinUploaded, "Gate")
        },
        Monitor_tests_Lin: {
            echo "Waits for rest tests to complete"
            node("ScadaV_Tests_Lin") {
                testFunctions.TryExecute("ScadaMonitor.Test")
            }
        }
    ])
    

    В этом измененном варианте я создал функцию runAdvancedTests, которая принимает название ноды, переменную загрузки и тип тестов (Archive или Gate). Это позволяет вам объединить выполнение Archive_advanced_tests_* и Gate_advanced_tests_* в рамках одного выполнения на каждой платформе, так что они не будут блокировать друг друга на одной и той же ноде.

    Теперь вы можете с легкостью добавлять или изменять логики выполнения для тестов, так как они все сосредоточены в одной функции.

  5. User

    Я не очень понимаю как мне это поможет, ведь нода заблокирует одну из параллелей и тесты так или иначе смогут пойти последовательно, а не параллельно. Т.е. по сути ты даже не изменил мой код

  6. Assistant

    Извините за недоразумение. Чтобы добиться настоящей параллельности выполнения тестов, которые резервируют одну и ту же ноду, можно воспользоваться более глубоким уровнем параллелизма, разбив запуск на более мелкие блоки с использованием дополнительных нод или разделив вашу задачу на "группы". Однако в зависимости от конфигурации Jenkins и вашего окружения это может быть не что-то простое.

    Если у вас есть возможность использовать несколько нод, то можно создать два отдельных параллельных блока для каждой ноды. Если этого нет, вы можете структурировать ваши параллельные секции так, чтобы они выполнялись последовательно по группам.

    Вот пример, как это можно сделать, сохраняя требования к исполнению:

    parallel([
        Common_tests_win: {
            node("ScadaV_Tests_Win") {
                if (iCoreWinUploaded) {
                    testFunctions.TryExecute("Scada.SDK.Test")
                    sleep 10
                    testFunctions.TryExecute("Scada.Connect.Test")
                    sleep 10
                }
            }
        },
        Common_tests_Lin: {
            node("ScadaV_Tests_Lin") {
                if (iCoreLinUploaded) {
                    testFunctions.TryExecute("Scada.SDK.Test")
                    sleep 10
                    testFunctions.TryExecute("Scada.Connect.Test")
                    sleep 10
                }
            }
        },
        // Создаем параллельные блоки для Archive и Gate, чтобы они могли выполняться последовательно
        Parallel_Archive_and_Gate_Win: {
            parallel([
                Archive_advanced_tests_win: {
                    node("ScadaV_Tests_Win") {
                        if (iCoreWinUploaded) {
                            echo "Running Archive Advanced Tests"
                            testFunctions.TryExecute("ArchiveWriteFiles.Test")
                        }
                    }
                },
                Gate_advanced_tests_win: {
                    node("ScadaV_Tests_Win") {
                        if (iCoreWinUploaded) {
                            echo "Running Gate Advanced Tests"
                            testFunctions.TryExecute("Scaling.Tests")
                            sleep 10
                            testFunctions.TryExecute("ParsedEvents.Test")
                            sleep 10
                        }
                    }
                }
            ])
        },
        Parallel_Archive_and_Gate_Lin: {
            parallel([
                Archive_advanced_tests_Lin: {
                    node("ScadaV_Tests_Lin") {
                        if (iCoreLinUploaded) {
                            echo "Running Archive Advanced Tests"
                            testFunctions.TryExecute("ArchiveWriteFiles.Test")
                        }
                    }
                },
                Gate_advanced_tests_Lin: {
                    node("ScadaV_Tests_Lin") {
                        if (iCoreLinUploaded) {
                            echo "Running Gate Advanced Tests"
                            testFunctions.TryExecute("Scaling.Tests")
                            sleep 10
                            testFunctions.TryExecute("ParsedEvents.Test")
                            sleep 10
                        }
                    }
                }
            ])
        },
        Monitor_tests_win: {
            echo "Waits for rest tests to complete"
            node("ScadaV_Tests_Win") {
                testFunctions.TryExecute("ScadaMonitor.Test")
            }
        },
        Monitor_tests_Lin: {
            echo "Waits for rest tests to complete"
            node("ScadaV_Tests_Lin") {
                testFunctions.TryExecute("ScadaMonitor.Test")
            }
        }
    ])
    

    В этом варианте я организовал код так, чтобы группы Archive_advanced_tests_* и Gate_advanced_tests_* для каждой платформы выполнялись в своих параллельных блоках, что позволяет увеличить возможный уровень параллелизма.

    Это означает выполнение групп тестов, например, Archive_advanced_tests_win и Gate_advanced_tests_win, параллельно друг с другом, но при этом они все еще будут блокировать одну и ту же ноду, если они оба запускаются на одной и той же ноде.

    Таким образом, если у вас есть две разные ноды, вы можете создать ещё один уровень параллелизма, сохраняя возможность выполнения в пределах групп. Однако, если ваша система ограничена одним исполнителем на каждую ноду, вам придется использовать очереди или сделать выбор между тестами, которые могут быть выполнены параллельно.

  7. User

    Это хорошее решение. У него, к сожалению, есть один минус - плагин jenkkins "blue ocean" не умеет правильно отрисовывать параллели более одного уровня вложенности. Но, лучше так, чем никак. Спасибо!

  8. Assistant

    Понимаю вашу озабоченность по поводу отображения в Blue Ocean. К сожалению, Blue Ocean не всегда может корректно отображать сложные структуры вложенных параллельных исполнений, и это может затруднить визуализацию и понимание состояния сборки.

    Если отображение в Blue Ocean является критичным, возможно, вы могли бы рассмотреть более "плоскую" архитектуру параллелизма без вложенных блоков и использовать бэйджи или вывод в журнале для отслеживания статусов отдельных тестов.

    Если у вас возникнут дополнительные вопросы или потребуется помощь с другими задачами в Jenkins или чем-то еще, не стесняйтесь обращаться! Удачи с вашими тестами!

  9. User

    Очистить контекст

  10. Assistant

    Конечно! Если вам нужно задать новый вопрос или обсудить другую тему, просто дайте знать. Я здесь, чтобы помочь!

  11. User

    У меня есть bash файл с такими командами:

    sudo tpkg --install-file ./Redist/tpkgs/file1
    sudo tpkg --install-file ./Redist/tpkgs/file1
    sudo tpkg --install-file ./Redist/tpkgs/file1
    sudo tpkg --install-file ./Redist/tpkgs/file1
    

    Я не хочу много раз вызывать команду и каждый раз при необходимости обновлять содержимое файла. Есть ли возможность получить список файлов в директории Redist/tpkgs и как-то в цикле, типа foreach вызвать sudo tpkg --install-file для каждого файла в каталоге?

  12. Assistant

    Да, вы можете использовать цикл в bash для обработки каждого файла в указанной директории. Для этого можно использовать команду for или find для итерации по файлам в директории. Вот пример, как это можно сделать:

    Используя цикл for

    Если вы хотите использовать цикл for, вы можете сделать что-то вроде следующего:

    #!/bin/bash
    
    # Перейти в директорию с файлами
    cd ./Redist/tpkgs
    
    # Цикл по всем файлам в директории
    for file in *; do
        # Проверяем, является ли это файлом
        if [[ -f "$file" ]]; then
            sudo tpkg --install-file "$file"
        fi
    done
    

    Используя find

    Альтернативно, вы можете использовать find, если хотите иметь больше контроля над тем, какие файлы обрабатываются:

    #!/bin/bash
    
    # Запустить команду для каждого файла в директории
    find ./Redist/tpkgs -type f -exec sudo tpkg --install-file {} \;
    

    Объяснение:

    • В первом примере мы используем cd для перехода в нужную директорию и затем перебираем все файлы. -f проверяет, является ли элемент файлом.
    • Во втором примере find находит все файлы (-type f) в директории и выполняет команду sudo tpkg --install-file для каждого из них.

    Не забудьте дать исполняемые права вашему скрипту перед запуском:

    chmod +x ваш_скрипт.sh
    

    Теперь вы можете запускать скрипт без необходимости вручную обновлять список файлов.

  13. User

    Как в linux терминале найти файл по имени из корня системы?

  14. Assistant

    Чтобы найти файл по имени из корня файловой системы в Linux, вы можете использовать команду find. Вот пример команды, которая находит файл по имени в корневом каталоге:

    sudo find / -name "имя_файла"
    

    Объяснение:

    • find — команда для поиска файлов.
    • / — указывает, что поиск начинается с корневого каталога.
    • -name "имя_файла" — параметр для поиска по имени файла. Вы можете использовать подстановочные знаки, например, *, если не знаете точное имя файла. Например, -name "*.txt" найдет все файлы с расширением .txt.

    Дополнительные параметры:

    • Если вы хотите игнорировать регистр в своем поиске, используйте -iname вместо -name:

      sudo find / -iname "имя_файла"
      
    • Если вас интересует только вывод от пользователя (без ошибочных сообщений о разрешениях), вы можете добавить 2>/dev/null, чтобы перенаправить сообщения об ошибках в "никуда":

      sudo find / -name "имя_файла" 2>/dev/null
      

    Пример:

    Если вы ищете файл с названием example.txt, команда будет выглядеть так:

    sudo find / -name "example.txt" 2>/dev/null
    

    Это позволит вам найти файл независимо от того, в каком каталоге он находится.

  15. User

    Как на линукс и windows подавлять вывод команд, оставляя только сообщения об ошибке

  16. Assistant

    В Linux и Windows есть разные способы подавления вывода команд и оставления только сообщений об ошибках. Давайте рассмотрим каждый случай.

    В Linux

    В Linux, чтобы подавить стандартный вывод (stdout) и оставить только вывод ошибок (stderr), вы можете перенаправить stdout в "никуда" (/dev/null):

    command > /dev/null
    

    Если вам нужно оставить сообщения об ошибках, просто не перенаправляйте stderr. Например:

    command > /dev/null 2>&1  # Подавить stdout и stderr
    

    Если вы хотите оставить только stderr (вывод ошибок), используйте:

    command > /dev/null 2> error.log  # stdout подавляется, stderr выводится в error.log
    

    или просто:

    command > /dev/null  # stdout подавляется, stderr отображается в терминале
    

    Примеры:

    • Подавить stdout, оставить stderr:

      ls nonexistentfile > /dev/null  # Ошибки будут видны
      
    • Подавить stdout и записать stderr в файл:

      ls nonexistentfile > /dev/null 2> errors.txt
      

    В Windows

    В Windows вы можете сделать что-то похожее с использованием команды cmd. Чтобы подавить стандартный вывод и оставить только сообщения об ошибках, используйте:

    command > nul
    

    Чтобы оставить только сообщения об ошибках, вы можете сделать следующее:

    command > nul 2>&1  # Подавить stdout и stderr
    

    Если хотите оставить stderr на экране, просто выполните:

    command > nul  # stdout подавляется, stderr отображается в терминале
    

    Примеры:

    • Подавить stdout, оставить stderr:

      dir nonexistentfolder > nul  # Ошибки будут видны
      
    • Подавить stdout и записать stderr в файл:

      dir nonexistentfolder > nul 2> errors.txt
      

    Таким образом, в обеих операционных системах вы можете легко подавлять вывод команд, оставляя только сообщения об ошибках, используя стандартные команды перенаправления.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.