Открытие пиковых поколений: TensorRT ускоряет работу искусственного интеллекта на ПК и рабочих станциях RTX
Расширение TensorRT для веб-интерфейса Stable Diffusion теперь поддерживает ControlNets, производительность которого продемонстрирована в новом тесте.
По мере развития и распространения генеративного ИИ в отраслях важность запуска приложений генеративного ИИ на локальных ПК и рабочих станциях возрастает. Локальный вывод позволяет потребителям сократить задержку, устранить их зависимость от сети и обеспечить больший контроль над своими данными.
Графические процессоры NVIDIA GeForce и NVIDIA RTX оснащены тензорными ядрами — специальными аппаратными ускорителями искусственного интеллекта, которые обеспечивают мощность для локального запуска генеративного искусственного интеллекта.
Stable Video Diffusion теперь оптимизирован для комплекта разработки программного обеспечения NVIDIA TensorRT , который открывает высокопроизводительный генеративный искусственный интеллект на более чем 100 миллионах ПК и рабочих станций с ОС Windows на базе графических процессоров RTX.
Теперь расширение TensorRT для популярного веб-интерфейса Stable Diffusion от Automatic1111 добавляет поддержку ControlNets, инструментов, которые дают пользователям больше контроля над уточнением генеративных результатов путем добавления других изображений в качестве руководства.
Ускорение TensorRT можно протестировать в новом тесте UL Procyon AI Image Generation, который, как показали внутренние тесты, точно воспроизводит реальную производительность. Он обеспечил ускорение на 50 % на графическом процессоре GeForce RTX 4080 SUPER по сравнению с самой быстрой реализацией без TensorRT.
Более эффективный и точный ИИ
Он также ускоряет самые популярные модели генеративного искусственного интеллекта, такие как Stable Diffusion и SDXL. Stable Video Diffusion , генеративная модель искусственного интеллекта Stability AI для преобразования изображения в видео, ускоряется на 40 % с помощью TensorRT.
Оптимизированную модель преобразования изображения в видео Stable Video Diffusion 1.1 можно загрузить на Hugging Face.
роме того, расширение TensorRT для веб-интерфейса Stable Diffusion повышает производительность почти в 2 раза, что значительно оптимизирует рабочие процессы Stable Diffusion.
В последнем обновлении расширения оптимизация TensorRT распространяется на ControlNets — набор моделей искусственного интеллекта, которые помогают направлять выходные данные модели диффузии путем добавления дополнительных условий. С TensorRT сети ControlNet работают на 40 % быстрее.
Пользователи могут настраивать аспекты вывода в соответствии с входным изображением, что дает им больше контроля над конечным изображением. Они также могут использовать несколько сетей ControlNet вместе для еще большего контроля. ControlNet может быть, среди прочего, картой глубины, картой границ, картой нормалей или моделью обнаружения ключевых точек.
Загрузите расширение TensorRT для веб-интерфейса Stable Diffusion на GitHub сегодня.
Другие популярные приложения, ускоренные с помощью TensorRT
Кроме того, благодаря интеграции TensorRT Topaz Labs добилась увеличения производительности своих приложений Photo AI и Video AI на 60 %, таких как шумоподавление фотографий, повышение резкости, суперразрешение фотографий, замедленное видео, суперразрешение видео, стабилизация видео и многое другое. все работает на RTX.
Сочетание тензорных ядер с программным обеспечением TensorRT обеспечивает непревзойденную производительность генеративного искусственного интеллекта на локальных ПК и рабочих станциях. А при локальном запуске открывается несколько преимуществ:
Производительность : пользователи испытывают меньшую задержку, поскольку задержка становится независимой от качества сети, когда вся модель работает локально. Это может быть важно для случаев использования в режиме реального времени, таких как игры или видеоконференции. NVIDIA RTX предлагает самые быстрые ускорители искусственного интеллекта, масштабируемые до более чем 1300 триллионов операций искусственного интеллекта в секунду (TOPS).
TensorRT-LLM, библиотека с открытым исходным кодом, которая ускоряет и оптимизирует вывод LLM, включает готовую поддержку популярных моделей сообщества, включая Phi-2, Llama2, Gemma, Mistral и Code Llama. Любой — от разработчиков и создателей до сотрудников предприятий и обычных пользователей — может экспериментировать с моделями, оптимизированными для TensorRT-LLM, в моделях NVIDIA AI Foundation . Кроме того, с помощью технологической демонстрации NVIDIA ChatRTX пользователи могут оценить производительность различных моделей, работающих локально на ПК с Windows. ChatRTX построен на основе TensorRT-LLM для оптимизации производительности на графических процессорах RTX.
NVIDIA сотрудничает с сообществом открытого исходного кода для разработки собственных коннекторов TensorRT-LLM для популярных платформ приложений, включая LlamaIndex и LangChain.
