Описание функциональных характеристик
Программное обеспечение
AMLT
AMLT
Настоящий документ содержит описание функциональных характеристик программного обеспечения AMLT, которое работает на стороне хоста с ускорителями I100CPP и I105CPP, а также центральными процессорами с архитектурой x86 и ARM.
1 Назначение программного обеспечения AMLT
Программное обеспечение AMLT предназначено для работы с нейронными сетями, что позволяет значительно ускорить процесс считывания, преобразования и вывода информации.
В качестве входных данных программное обеспечение использует модель нейросети и данные, передаваемые от хоста. В сочетании с архитектурными и схемотическими решениями, реализованными в плате и микросхеме, AMLT обеспечивает ускорение обработки больших объемов данных, работы с искусственным интеллектом и нейросетями, а также выполнение различных математических вычислений.
AMLT автоматически начинает свою работу при включении хоста или при подключении PCIe разъёма ускорителя в соответствующий слот сервера.
2 Описание функциональных характеристик
2.1 Загрузка программного обеспечения
Загрузка программного обеспечения на хост осуществляется через специальную ссылку, которая предоставляется пользователю производителем. Необходимо загрузить программное обеспечение на хост чётко следуя инструкциям.
2.2 Функциональные характеристики программного обеспечения
Программное обеспечение AMLT поддерживает следующие функциональные характеристики:
· Подготовка входных данных, включая конвертацию всех необходимых форматов;
· снятия метрик работы ускорителя, таких как температура, загруженность основных вычислительных блоков и доступный объём оперативной памяти;
· поддержка форматов моделей ONNX;
· исполнение программы на устройстве и контроль результатов;
· поддержка программной платформы Pytorch;
· возможность гетерогенного исполнения математических операций, не поддерживаемых центральным процессором, на ускорителе.
2.3 Основные компоненты программного обеспечения
Основные архитектурные компоненты программного обеспечения выделяются в следующие группы:
Openvino Runtime – набор библиотек, предоставляющие интерфейсы для Inference нейросетей на различных вычислительных устройствах. Средствами реализованных плагинов, включается в состав программного обеспечения AMLT. OpenVINO предоставляет нативную поддержку широкого спектра модельных фреймворков и форматов моделей (Pytorch, TensorFlow, ONNX, etc.)
IASIC Plug-in – представляет собой расширение функциональности OpenVINO для поддержки вывода данных (Inference) на устройстве. Компонент содержит в себе узкоспециализированные оптимизации (тензорный компилятор), позволяющие добиться максимальной производительности вывода нейросетей на ускорителях марки I100CPP/I105CPP.
IASIC driver – компонент отвечает за выполнение вывода данных (Inference) в соответствии с настройками переданными из IASIC Plug-in, и обеспечивает многопользовательский режим работы, а также управляет устройством.
IASIC profiler – компонент, представляет собой инструмент командной строки для сбора и анализа производительности и профилировочных данных с ускорителя и хост-системы, на которую установлено устройство. Основной фокус на утилизацию устройства и производительность (GFLOP/s).
2.4 Информация необходимая для установки и эксплуатации ПО
Программное обеспечение AMLT является частью ускорителя и обеспечивает его функциональность, только если загружено на персональный компьютер пользователя.
Для загрузки программного обеспечения на хост, необходимо пройти по ссылке и осуществить установку программного обеспечения следуя инструкции производителя.
2.5 Требования к рабочему месту
2.5.1 Рекомендуемая конфигурация хоста
Программное обеспечение AMLT предназначено для работы с нейронными сетями, что позволяет значительно ускорить процесс считывания, преобразования и вывода информации.
В качестве входных данных программное обеспечение использует модель нейросети и данные, передаваемые от хоста. В сочетании с архитектурными и схемотическими решениями, реализованными в плате и микросхеме, AMLT обеспечивает ускорение обработки больших объемов данных, работы с искусственным интеллектом и нейросетями, а также выполнение различных математических вычислений.
AMLT автоматически начинает свою работу при включении хоста или при подключении PCIe разъёма ускорителя в соответствующий слот сервера.
2 Описание функциональных характеристик
2.1 Загрузка программного обеспечения
Загрузка программного обеспечения на хост осуществляется через специальную ссылку, которая предоставляется пользователю производителем. Необходимо загрузить программное обеспечение на хост чётко следуя инструкциям.
2.2 Функциональные характеристики программного обеспечения
Программное обеспечение AMLT поддерживает следующие функциональные характеристики:
· Подготовка входных данных, включая конвертацию всех необходимых форматов;
· снятия метрик работы ускорителя, таких как температура, загруженность основных вычислительных блоков и доступный объём оперативной памяти;
· поддержка форматов моделей ONNX;
· исполнение программы на устройстве и контроль результатов;
· поддержка программной платформы Pytorch;
· возможность гетерогенного исполнения математических операций, не поддерживаемых центральным процессором, на ускорителе.
2.3 Основные компоненты программного обеспечения
Основные архитектурные компоненты программного обеспечения выделяются в следующие группы:
Openvino Runtime – набор библиотек, предоставляющие интерфейсы для Inference нейросетей на различных вычислительных устройствах. Средствами реализованных плагинов, включается в состав программного обеспечения AMLT. OpenVINO предоставляет нативную поддержку широкого спектра модельных фреймворков и форматов моделей (Pytorch, TensorFlow, ONNX, etc.)
IASIC Plug-in – представляет собой расширение функциональности OpenVINO для поддержки вывода данных (Inference) на устройстве. Компонент содержит в себе узкоспециализированные оптимизации (тензорный компилятор), позволяющие добиться максимальной производительности вывода нейросетей на ускорителях марки I100CPP/I105CPP.
IASIC driver – компонент отвечает за выполнение вывода данных (Inference) в соответствии с настройками переданными из IASIC Plug-in, и обеспечивает многопользовательский режим работы, а также управляет устройством.
IASIC profiler – компонент, представляет собой инструмент командной строки для сбора и анализа производительности и профилировочных данных с ускорителя и хост-системы, на которую установлено устройство. Основной фокус на утилизацию устройства и производительность (GFLOP/s).
2.4 Информация необходимая для установки и эксплуатации ПО
Программное обеспечение AMLT является частью ускорителя и обеспечивает его функциональность, только если загружено на персональный компьютер пользователя.
Для загрузки программного обеспечения на хост, необходимо пройти по ссылке и осуществить установку программного обеспечения следуя инструкции производителя.
2.5 Требования к рабочему месту
2.5.1 Рекомендуемая конфигурация хоста
2.5.2 Программные требования
Операционная система:
AstraLinux версии 1.7.7 или выше.
Platform V SberLinux OS Server версии 9.6.2 и выше.
Ядро Linux:
версия 5.15 и выше
Для корректной работы необходимо установить Python версии 3.8 и выше.
3 Техническая поддержка
Перед началом работы ознакомьтесь с руководством пользователя. Если в ходе работы с программным обеспечением AMLT возникают вопросы, с которыми руководство пользователя не помогает, то обратиться за помощью можно в отдел поддержки пользователя по адресу:
Обращения рассматриваются в рабочее время, установленное компанией, в порядке очереди. Время реакции отражено в регламенте технической поддержки.
Операционная система:
AstraLinux версии 1.7.7 или выше.
Platform V SberLinux OS Server версии 9.6.2 и выше.
Ядро Linux:
версия 5.15 и выше
Для корректной работы необходимо установить Python версии 3.8 и выше.
3 Техническая поддержка
Перед началом работы ознакомьтесь с руководством пользователя. Если в ходе работы с программным обеспечением AMLT возникают вопросы, с которыми руководство пользователя не помогает, то обратиться за помощью можно в отдел поддержки пользователя по адресу:
Обращения рассматриваются в рабочее время, установленное компанией, в порядке очереди. Время реакции отражено в регламенте технической поддержки.
