Автоматизация сборки, настройки и развертывания научных приложений в гетерогенной распределенной вычислительной среде на основе агентов

<jats:p>В работе предложена мультиагентная система для автоматизации сборки, настройки и развертывания программного обеспечения научных приложений. В частности, она интегрирует и автоматизирует процессы развертывания системного и прикладного программного обеспечения вычислительного кластера, настройки конфигураций программно-аппаратных средств, создания контейнеров для выполнения заданий приложений и их оркестрации, управления заданиями и мониторинга их выполнения. Предложенный подход позволяет декомпозировать процедуру выполнения сложной инструментальной цепочки реализации действий на совокупность изолированных, наблюдаемых и управляемых этапов сборки, настройки и развертывания программного обеспечения, а следовательно, существенно повысить эффективность подготовки и проведения научных экспериментов в целом.</jats:p> <jats:p>The DevOps supports for workflow-based scientific applications in a heterogeneous distributed computing environment is a challenge. It is characterized by significant overhead costs for manual software deployment and the lack of mechanisms for continuous runtime environment monitoring and support for fault tolerance of computing processes. To automate and decompose the DevOps pipeline, we propose specialized execution agents. Each agent is responsible for a specific stage such as node preparation, containerd installation, Kubernetes cluster initialization, or HTCondor deployment. After the deployment is complete, monitoring agents deployed on critical nodes are activated. These agents perform regular cluster health checks using native utilities, collect metrics, and initiate recovery actions to restore cluster functionality when failures are detected. Comparative analysis of overheads in preparing and conducting experiments demonstrates the substantial overhead reduction in preparing and conducting experiments due to the DevOps automation in comparison with a manual management. The most reduction is achieved during the HTCondor file configuration and the implementation of reliable network interactions between cluster nodes. The proposed approach allows us to automate the initial deployment and ensures continuous manageability, ability to observe, and fault tolerance throughout the entire lifecycle of computational experiments. The DevOps pipeline decomposition into isolated, observable, and controllable stages enhances the reproducibility, reliability, and portability of scientific applications across diverse configurations.</jats:p>