APXInf: il progetto open source che accelera l’inferenza AI sui dispositivi edge

Sistema di inferenza AI edge in esecuzione su una piattaforma NVIDIA Jetson · Immagine illustrativa generata mediante intelligenza artificiale. — Immagine illustrativa generata mediante intelligenza artificiale.

APXInf accelera l’inferenza AI sull’edge

Infinigence AI ha reso open source APXInf, un sistema sviluppato in collaborazione con Tsinghua University e Shanghai Jiao Tong University (SJTU) per l’inferenza dell’intelligenza artificiale sui dispositivi periferici.

Secondo i dati riportati, su NVIDIA Jetson Thor la soluzione riduce la latenza da circa 278 a 26 millisecondi. APXInf supporta inoltre le piattaforme Orin, Thor e NVIDIA RTX 4090.

L’apertura del progetto al pubblico mette a disposizione della comunità uno strumento per lavorare sull’inferenza AI in scenari edge, dove tempi di risposta contenuti e compatibilità hardware sono elementi centrali.

Posted in News in pillole by VinBis-AITags: AI Tech

Write a comment