Argumentos a favor de los centros de datos de IA on-prem

Ventajas e inconvenientes de la nube

Muchas organizaciones están trasladando sus cargas de trabajo a una infraestructura de nube pública que, por definición, es compartida por muchos clientes. Aunque la escalabilidad en una nube pública puede ser bastante grande, muy pocos modelos de entrenamiento requieren miles de GPU trabajando simultáneamente. Una ventaja de utilizar una infraestructura de nube pública y compartida es que se puede disponer de un gran número de servidores de gama alta (léase caros). A la inversa, un gran número de servidores de gama alta puede no estar disponible cuando se desee. Además, los costes asociados a la entrada y salida de datos para modelos de entrenamiento de gran tamaño pueden ser significativos, especialmente si los datos de entrenamiento deben importarse de otro proveedor de nubes públicas compartidas.

On-Prem para la formación en IA

Existen varias razones para considerar e implementar la IA en un centro de datos on-prem.

• Coste - Aunque la adquisición de servidores con GPU puede ser elevada, el coste a largo plazo puede ser inferior en comparación con el uso de una nube pública compartida. Las tarifas de la nube pueden ser relativamente altas a lo largo del tiempo, especialmente para los movimientos de datos. Además, los costes de adquisición de un servidor con GPU de gama alta pueden ser elevados, tanto si se utilizan todas las CPU como las GPU el 100% del tiempo disponible, lo que es poco probable.
• Rendimiento: existe una amplia gama de combinaciones de CPU y GPU, tanto en términos de cantidad de cada una como de rendimiento. Teniendo en cuenta los requisitos de la IA empresarial, el número y el rendimiento de las CPU (1, 2, 4 u 8) es esencial. La última generación de CPU oscila entre los 16 y los 128 núcleos, y las velocidades de reloj base se aproximan a los 4 GHz. Existe una amplia gama de GPU, desde las generaciones más antiguas hasta los últimos lanzamientos, con hasta miles de núcleos. En un centro de datos pueden implementarse configuraciones óptimas y múltiples, en función de los requisitos de CPU y GPU del proyecto.
• Reentrenamiento - Aunque existen varios métodos para estimar el coste de entrenar un modelo de un tamaño determinado y el número de GPU disponibles, muchos modelos necesitan ser reentrenados continuamente con nuevos parámetros. Para que la inferencia sea precisa, el modelo debe volver a entrenarse con datos actualizados y más recientes, lo que puede llevar tanto tiempo como el entrenamiento original en función de la cantidad de datos nuevos que se utilicen. En un centro de datos on-prem, los sistemas pueden utilizarse repetidamente, mientras que en la nube pública, los gastos pueden acumularse con cada iteración y reentrenamiento del modelo.
• Software - Hay muchas opciones de software a tener en cuenta a la hora de crear una solución de formación en IA eficiente y eficaz. Es posible que un proveedor de nube pública compartida no disponga de todos los componentes disponibles, lo que puede requerir una configuración y unas pruebas adicionales para cada instancia adquirida en una infraestructura de nube pública.
• Ubicación y soberanía de los datos - Para muchas industrias y geografías, puede haber restricciones y requisitos sobre dónde deben residir los datos utilizados para el entrenamiento de la IA. Un centro de datos on-prem permite a las organizaciones adherirse a estas regulaciones, donde el uso de un centro de datos remoto, en la nube pública puede no estar permitido.
• Seguridad - Para muchas organizaciones, la seguridad tanto de los datos como de los resultados es fundamental. En un centro de datos on-prem, los equipos de seguridad pueden aplicar políticas de seguridad más estrictas en relación con el acceso a los sistemas o dispositivos de almacenamiento. Cuando se crea y utiliza IA que necesita acceso a procesos y datos internos, la implantación de la IA en un centro de datos on-prem es una opción obvia.
• Cumplimiento - Cuando los datos están sujetos a diversas normativas, la creación de un centro de datos on-prem conforme puede ser lo ideal, en comparación con la identificación de una nube pública que se adhiera a estas normativas.

Resumen

La implantación de un centro de datos on-prem centrado en la IA eficaz y eficiente requiere comprender los requisitos de rendimiento de las cargas de trabajo que mejor se adaptan a la empresa. Un centro de datos on-prem, cuando se diseña adecuadamente, puede disminuir el tiempo de obtención de resultados para el entrenamiento en IA y puede ofrecer resultados de inferencia de baja latencia y decisiones ajustadas al tipo de modelo. Un centro de datos on-prem puede configurarse de forma única a bajo coste para responder a las necesidades de la empresa. La comprensión de las cargas de trabajo, la cantidad de datos, el ajuste fino del flujo de trabajo de la IA y la experiencia interna con varias capas de software ayudarán a determinar la mejor opción para la organización.