Facebook ha hecho un gran anuncio sobre su nuevo acelerador de hardware de inteligencia artificial de bajo costo y de alta eficiencia energética, llamado Many Tensor Inference Accelerator (MTIA), en su evento en línea para ingenieros en mayo de 2023. La compañía explica que esta innovadora pieza de hardware es una respuesta a la demanda cada vez mayor de procesamiento de IA eficiente en energía y rentable.
En el corazón del diseño de MTIA se encuentra un acelerador de inferencia de IA de bajo costo y alta eficiencia energética, que está diseñado específicamente para cargas de trabajo de inferencia de IA en centros de datos. El chip es una matriz de procesadores tensoriales (TPUs) compuesta por múltiples elementos de procesamiento (PE). Cada PE está equipado con dos núcleos de procesador y múltiples unidades de función fija. El chip también se diseñó para maximizar el paralelismo y la reutilización de datos, fundamentales para una eficiencia excepcional.
El acelerador MTIA está montado en pequeñas tarjetas M.2 duales que se conectan al CPU del host del servidor a través de enlaces PCIe Gen4 x8. Los servidores que albergan estos aceleradores utilizan la especificación del servidor Yosemite V3 del Open Compute Project, lo que facilita su implementación a gran escala.
En el frente del software, la pila de software (SW) de MTIA está diseñada para ofrecer eficiencia y alto rendimiento. La pila SW de MTIA se integra completamente con PyTorch, proporcionando una experiencia de desarrollo familiar y fácil de usar. Se aprovecha de PyTorch FX IR para realizar transformaciones y optimizaciones a nivel de modelo, y LLVM IR para optimizaciones de bajo nivel.
Además, el tiempo de ejecución de PyTorch para MTIA maneja la ejecución del dispositivo y características como los tensores MTIA, la gestión de la memoria y las APIs para programar operadores en el acelerador. Los desarrolladores tienen la opción de programar núcleos de cálculo en varios lenguajes, incluyendo PyTorch, C/C++ y un nuevo lenguaje específico del dominio llamado KNYFE.
En términos de rendimiento, Facebook proporcionó resultados comparativos que muestran que MTIA supera a otros aceleradores en varias cargas de trabajo de inferencia de IA. El rendimiento del MTIA es especialmente notable en la eficiencia energética, una métrica crucial para cualquier despliegue a escala de centro de datos. La eficiencia de MTIA es tal que, incluso con las cargas de trabajo más complejas, logra superar a los aceleradores de la competencia.
El desarrollo de MTIA representa un gran paso adelante en la carrera hacia el procesamiento de IA rentable y eficiente en energía. A medida que el procesamiento de IA sigue siendo una parte integral de muchas tecnologías emergentes, los avances como MTIA son cada vez más valiosos.
Fuente de la información Meta AI.
