Технология

Рабочий процесс Volga AI

Развертывание моделей DNN в Volga AMP™

Платформа Volga обеспечивает лидирующие в своей категории производительность, мощность и емкость встроенной модели в экономичном форм-факторе. Чтобы использовать эти вычисления, программный стек Volga оптимизирует и компилирует обученные нейронные сети, используя поток, который знаком и прост в использовании для разработчиков. Мы опираемся на существующие экосистемы, такие как PyTorch, для интерфейса, чтобы обеспечить беспрепятственную интеграцию со стандартными потоками обучения.

Затем программное обеспечение проходит два этапа: оптимизацию и компиляцию. Пакет оптимизации Volga преобразует нейронную сеть в форму, совместимую с аналоговыми вычислениями в памяти, включая квантование от значений с плавающей запятой до целых 8 бит. Компилятор Volga Graph выполняет автоматическое сопоставление, упаковку и генерацию кода. Конечным результатом является упакованный двоичный файл, содержащий все, что нужно драйверу хоста для программирования Volga AMP™ и запуска нейронных сетей в среде реального времени.

ПАКЕТ ОПТИМИЗАЦИИ Volga

Первым этапом рабочего процесса Volga AI является оптимизация обученной нейронной сети. Поток квантования преобразует 32-разрядные веса и активации с плавающей запятой — стандартный числовой формат при обучении — в 8-разрядное целое число, что необходимо для эффективного развертывания на границе. Квантование представляет собой серьезную проблему для клиентов с высокими требованиями к точности. Наш простой поток запускается после обучения и выполняет преобразование в аналоговое представление 8-битного (ANA8). Результирующая точность сравнима с цифровым 8-битным квантованием, которое обычно используется в граничных приложениях с ограниченным энергопотреблением.

Мы также предоставляем потоки переобучения для приложений со строгими требованиями к точности и / или более агрессивными показателями производительности и мощности. Переобучение с учетом квантования и аналогового преобразования повышает отказоустойчивость слоев, которые более чувствительны к меньшей битовой глубине квантования и к аналоговым эффектам. Для достижения высоких показателей производительности и мощности некоторые уровни могут быть даже увеличены до 4 бит и ниже без значительного снижения точности.

КОМПИЛЯТОР ГРАФОВ Volga

Второй этап рабочего процесса Volga AI генерирует двоичное изображение для запуска на нашем усилителе Volga. Преобразование вычислительного графа нейронной сети в машинный код выполняется в автоматизированной последовательности шагов, включая отображение, оптимизацию и генерацию кода. Мощные элементы аппаратной архитектуры, включая многоядерную обработку, векторные движки SIMD и планировщики потоков данных, автоматически используются компилятором графиков. Даже драйвер хоста прост и безболезненен, а ввод/вывод и передача памяти обрабатываются за кулисами. Мы также предоставляем поддержку компилятора для операций с высокой вычислительной интенсивностью до, после и между слоями нейронной сети с помощью нашего массива процессоров и векторных движков SIMD.

Все технологии