Saved searches

Use saved searches to filter your results more quickly

Cancel Create saved search

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.

NVIDIA / pyxis Public

Container plugin for Slurm Workload Manager

License

NVIDIA/pyxis

This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.

Switch branches/tags
Branches Tags
Could not load branches
Nothing to show
Could not load tags
Nothing to show

Name already in use

A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?

Cancel Create

• Local
• Codespaces

HTTPS GitHub CLI
Use Git or checkout with SVN using the web URL.
Work fast with our official CLI. Learn more about the CLI.

Sign In Required

Please sign in to use Codespaces.

Launching GitHub Desktop

If nothing happens, download GitHub Desktop and try again.

Launching GitHub Desktop

If nothing happens, download GitHub Desktop and try again.

Launching Xcode

If nothing happens, download Xcode and try again.

Launching Visual Studio Code

Your codespace will open once ready.

There was a problem preparing your codespace, please try again.

Latest commit

Git stats

Files

Failed to load latest commit information.

Latest commit message
Commit time
August 31, 2021 15:52
September 7, 2023 18:27
January 19, 2021 00:29
September 7, 2023 18:24
August 22, 2019 14:48
July 21, 2020 21:12
August 22, 2019 14:48
August 4, 2020 14:00
September 7, 2023 18:27
June 7, 2023 16:19
November 28, 2022 20:09
November 28, 2022 20:09
November 28, 2022 20:09
November 28, 2022 20:09
March 13, 2023 15:23
September 22, 2021 11:03
August 17, 2023 18:58
September 3, 2020 11:55
September 7, 2023 18:27
August 11, 2021 15:14
August 11, 2021 15:14
August 11, 2021 15:14
September 7, 2023 18:24
July 9, 2020 16:27
September 7, 2023 18:24
July 9, 2020 16:27
July 9, 2020 16:27
July 9, 2020 16:27
May 7, 2021 10:45
July 9, 2020 16:27

README.md

Pyxis

Pyxis is a SPANK plugin for the Slurm Workload Manager. It allows unprivileged cluster users to run containerized tasks through the srun command.

Benefits

• Seamlessly execute the user’s task in an unprivileged container.
• Simple command-line interface.
• Fast Docker image download with support for layers caching and layers sharing across users.
• Supports multi-node MPI jobs through PMI2 or PMIx (requires Slurm support).
• Allows users to install packages inside the container.
• Works with shared filesystems.
• Does not require cluster-wide management of subordinate user/group ids.

Installation

Pyxis requires the enroot container utility (version 3.1.0 ) to be installed.

Since Slurm 21.08, pyxis must be compiled against the release of Slurm that is going to be deployed on the cluster. Compiling against spank.h from a different Slurm release will cause Slurm to prevent pyxis from loading with error Incompatible plugin version .

With make install

$ sudo make install $ sudo ln -s /usr/local/share/pyxis/pyxis.conf /etc/slurm/plugstack.conf.d/pyxis.conf $ sudo systemctl restart slurmd

With a deb package

$ make orig $ make deb $ sudo dpkg -i ../nvslurm-plugin-pyxis_*_amd64.deb $ sudo ln -s /usr/share/pyxis/pyxis.conf /etc/slurm/plugstack.conf.d/pyxis.conf $ sudo systemctl restart slurmd

With a rpm package

$ make rpm $ sudo rpm -i x86_64/nvslurm-plugin-pyxis-*-1.el7.x86_64.rpm $ sudo ln -s /usr/share/pyxis/pyxis.conf /etc/slurm/plugstack.conf.d/pyxis.conf $ sudo systemctl restart slurmd

Usage

Pyxis being a SPANK plugin, the new command-line arguments it introduces are directly added to srun .

$ srun --help . --container-image=[USER@][REGISTRY#]IMAGE[:TAG]|PATH [pyxis] the image to use for the container filesystem. Can be either a docker image given as an enroot URI, or a path to a squashfs file on the remote host filesystem. --container-mounts=SRC:DST[:FLAGS][,SRC:DST. ] [pyxis] bind mount[s] inside the container. Mount flags are separated with "+", e.g. "ro+rprivate" --container-workdir=PATH [pyxis] working directory inside the container --container-name=NAME [pyxis] name to use for saving and loading the container on the host. Unnamed containers are removed after the slurm task is complete; named containers are not. If a container with this name already exists, the existing container is used and the import is skipped. --container-save=PATH [pyxis] Save the container state to a squashfs file on the remote host filesystem. --container-mount-home [pyxis] bind mount the user's home directory. System-level enroot settings might cause this directory to be already-mounted. --no-container-mount-home [pyxis] do not bind mount the user's home directory --container-remap-root [pyxis] ask to be remapped to root inside the container. Does not grant elevated system permissions, despite appearances. --no-container-remap-root [pyxis] do not remap to root inside the container --container-entrypoint [pyxis] execute the entrypoint from the container image --no-container-entrypoint [pyxis] do not execute the entrypoint from the container image --container-writable [pyxis] make the container filesystem writable --container-readonly [pyxis] make the container filesystem read-only --container-env=NAME[,NAME. ] [pyxis] names of environment variables to preserve from the host environment

Examples

srun

$ # Run a command on a worker node $ srun grep PRETTY /etc/os-release PRETTY_NAME="Ubuntu 20.04.2 LTS" $ # run the same command, but now inside of a container $ srun --container-image=centos grep PRETTY /etc/os-release PRETTY_NAME="CentOS Linux 8" $ # mount a file from the host and run the command on it, from inside the container $ srun --container-image=centos --container-mounts=/etc/os-release:/host/os-release grep PRETTY /host/os-release PRETTY_NAME="Ubuntu 20.04.2 LTS"

sbatch

$ # execute the sbatch script inside a container image $ sbatch --wait -o slurm.out EOF #!/bin/bash #SBATCH --container-image nvcr.io\#nvidia/pytorch:21.12-py3 python -c 'import torch ; print(torch.__version__)' EOF $ cat slurm.out pyxis: importing docker image: nvcr.io#nvidia/pytorch:21.12-py3 1.11.0a0+b6df043

As # is the character used to start a SBATCH comment, this character needs to be escaped when also used in —container-image as a separator between the registry and the image name.

Advanced Documentation (wiki)

Copyright and License

This project is released under the Apache License Version 2.0.

Issues and Contributing

• Please let us know by filing a new issue
• Check CONTRIBUTING and then open a pull request

Running tests

Integration tests can be ran with bats from within a Slurm job allocation:

$ salloc --overcommit bats tests $ bats tests/sbatch

Some tests assume a specific enroot configuration (such as PMIx/PyTorch hooks), so they might not pass on all systems.

Reporting Security Issues

When reporting a security issue, do not create an issue or file a pull request.
Instead, disclose the issue responsibly by sending an email to psirtnvidia.com .

About

Container plugin for Slurm Workload Manager

Новая система Pyxis позволит создание более эффективных сетевых приложений

Новая система, которая автоматически упрощает доступ к базам данных, способна производить масштабные сетевые приложения втрое быстрее.

Большинство современных вебсайтов поддерживает масштабные базы данных. К примеру, сайты интернет-магазинов имеют базы данных ассортимента и оценок посетителей, сайты туроператоров и турагентств содержат базы данных по свободным местам на авиарейсах, а сайты социальных сетей обладают базами данных фотографий и комментариев.

Почти любая транзакция на каждом из таких сайтов требует многократных запросов к базам данных, что замедляет скорость работы сайта и нагружает ресурсы сервера.

В ходе 38-й международной конференции по Очень Большим Базам Данных исследователи из лаборатории информатики и искусственного интеллекта Массачусетского технологического института представили новую систему, которая автоматически упрощает образцы доступа к базам данных вебсайтов, ускоряя такие сайты более чем в три раза. И там, где другим системам, обещающим подобные ускорения, требуется использование специальных языков программирования, система ученых из Массачусетского института под названием Pyxis работает с типами языков, уже одобренных веб-разработчиками.

Транзакции веб-сервисов обычно включают и поиск данных, и подсчет. Как правило, данные хранятся на одном сервере, а вычисление производится на другом. Прикладному серверу и базе данных, возможно, придется обмениваться информацией многократно, чтобы получить искомый результат, например, о недоступности авиарейса.

Однако если наиболее часто используемые секторы содержимого прикладного сервера разместить на сервере с базой данных, это сэкономило бы время и трафик.

Но так называемая прикладная логика и запросы к базе данных написаны на разных языках, которые оптимизированы для обращения с различными типами операций, а потому перемещение кода в базу данных может потребовать не только ее переписывания, но и пересмотра того, как она сделана. Трудно разделить программу на две без ошибок, не потеряв, к примеру, путь, который необходим серверу для изменения определенной переменной в определенной точке.

Наконец, даже если программист уделит время и убедится, что программа не производит ошибок, остается проблема с постоянными изменениями требований к серверам баз данных. В ходе нормальной работы центральный процессор сервера может обладать большой мощностью для работы с небольшим объемом прикладной логики. Однако внезапный скачок трафика способен настолько загрузить центральный процессор, что дополнительное вычисление приведет к превышению лимита его мощности, в результате чего выполнение операций на сайте начнет « тормозить» еще сильней, чем во время обмена информацией между двумя серверами.

Pyxis решает все указанные проблемы. Она автоматически делит программу между прикладным сервером и сервером базы данных, и делает это так, чтобы выполнение программы не нарушалось ни в коем случае. Также она контролирует нагрузку на центральный процессор сервера базы данных, позволяя выполнять больше или меньше прикладной логики в зависимости от доступной мощности.

Pyxis начинает работу, преобразуя программу в диаграмму, конструкцию данных, которая состоит из узлов, соединенных краями.

„ Перемещение кода между узлами и есть определенное количество данных, которое должно переноситься от предыдущего положения в следующее“, пояснил профессор Мэдден. „Если следующее положение использует некоторую переменную, которая была вычислена в предыдущем положении, то между двумя этими положениями существует некоторая зависимость данных, и размер этой зависимости равен размеру переменной“. Если на компьютере запущена вся программа, то переменная сохраняется в основной памяти, и каждое положение получает к ней прямой доступ. Однако если последовательные положения запущены на разных компьютерах, данные вынуждены совершать скачки вместе с ними.

„ Передача данных по сети кое-чего стоит, и также обладает стоимостью каждый сетевой цикл, который вы совершаете“, уточнил Мэдден. „А потому мы хотим найти такое размещение этих узлов на двух разных серверах, чтобы оно позволило минимизировать стоимость или время выполнения программы“.

Pyxis предусматривает несколько таких размещения узлов. „Наша система способна автоматически переключаться между ними, основываясь на текущей загрузке сервера“, сказал аспирант Элвин Чен.

В ходе экспериментов, включающих стандартный набор моделируемых транзакций базы данных, Pyxis показала втрое большую скорость выполнения, сократив потребление полосы пропускания почти наполовину. Кроме того, усовершенствования, которые предоставляет система, лишь на несколько процентов отличались от ручной оптимизации кода программистами.

В настоящее время Pyxis работает с программами, написанными на Java, языке, предпочитаемом многими коммерческими веб-разработчиками. Адаптирование к другим популярным языкам программирования потребовало бы только пересмотра кода, которые переводит программы в графические модели, а большая часть системы осталась бы нетронутой.

Сейчас ученые работают над усовершенствованием системы Pyxis, чтобы еще более упростить зависимые от баз данных сетевые приложения. Большинство баз данных написано на так называемых декларативных языках, таких как SQL, которые позволяют программистам выпускать высокоуровневые команды, такие как обнаружение наибольшей ценности некоторой переменной без определения метода вычисления. Система базы данных автоматически выбирает наиболее эффективный алгоритм для выполнения команд, в зависимости от особенностей данных.

Веб-программисты, которым Java знакома больше SQL, иногда будут перемещать большие объемы данных между сервером базы данных и прикладным сервером, чтобы выполнить операции, которые на SQL, так или иначе, выполнить можно более эффективно. Ученые разрабатывают систему на основе Pyxis под названием StatusQuo, которая способа идентифицировать столь неэффективную прикладную логику. Прикладной код в этом случае автоматически преобразуется в запрос SQL, который база данных исполняет любым наиболее эффективным способом.

Разработка заказных ИМС Pyxis

Новая платформа Pyxis Custom IC Design Platform включает в себя интегрированные решения для создания схемы, планирования, трассировки, редактирования полигонов, физического размещения, размещения на базе схемы, параллельного редактирования и сборки чипа. Чтобы помочь компаниям быстрее начать разработку, Mentor Graphics и их партнёры на фабриках разработали дизайн киты.

Создание схемы Pyxis Schematic

Pyxis Schematic сокращает цикл проектирования, создавая высокопродуктивную унифицированную среду для создания схемы, настройки моделирования, верификации и анализа. Полная интеграция лучших инструментов для аналогового и смешанного моделирования, таких как Eldo® Classic, Eldo Premier, ADiT™ и Questa® ADMS, позволяет проверять проекты разработки заказных ИМС быстро и точно.

Pyxis Schematic взаимодействует с другими решениями Pyxis Custom IC Design Platform, чтобы создавать, разрабатывать, моделировать, верифицировать, оптимизировать и реализовывать даже наиболее сложные полностью заказные аналоговые и аналого-цифровые проекты быстро и точно — с первого раза. Как разработчику вам понравится единый стиль среды проектирования, создаёте вы схемы, блок-схемы, символы или HDL представления. Кроме того, партнёры Mentor Graphics предоставляют сертифицированные дизайн киты для Pyxis Custom IC Design Platform.

Проектирование топологии на основе схемы Pyxis Implement

Pyxis Implement — это дополнительная лицензия к Pyxis Layout, добавляющая возможность использования подхода SDL — Schematic-driven layout, который позволяет проводить размещение топологических элементов, используя в качестве источника схему. При этом сохраняется взаимосвязь схемотехнических элементов и топологических конструкций, реализующих эти элементы.

Поддерживается работа с произвольной комбинацией полигонов, генераторов устройств, как встроенных, так и поставляемых с Дизайн Китами (Design Kit) и ячеек (cell)

Проектирование топологии аналого-цифровых ИМС Pyxis Layout

Топологический редактор, имеющий полный набор современных возможностей, таких, как одновременная работа с одним проектом нескольких пользователей

Дизайн киты Design Kits

Mentor Graphics сотрудничает с большинством фабрик по всему миру, что позволяет иметь большой набор Дизайн Китов, содержащих данные в формате, адаптированном для продуктов Mentor Graphics.

При этом Mentor Graphics сотрудничает с фабриками не только в области подготовки Дизайн Китов, но и в области разработки новых методологий производства, а значит и проектирования, что позволяет отнести Mentor Graphics не просто к компаниям — разработчикам программного обеспечения, но к инновационным, проводящим фундаментальные исследования компаниям. Так, например, сотрудничество с фирмой IBM позволило сертифицировать продукт Mentor Graphics Olympus для технологии 22 nm. Другим примером является сотрудничество с американским аэрокосмическим агентством NASA, в результате чего появилась возможность на этапе синтеза FPGA производить троирование с целью уменьшения влияния радиации в околоземном космическом пространстве.

При подготовке материала использовались источники:
https://github.com/NVIDIA/pyxis
http://www.innovanews.ru/info/news/internet/9712/
https://www.orcada.ru/product/mentor-graphics/proektirovanie-zakaznyh-ims/products_101.html