Spark, Hadoop, Data Streaming, Soluciones de ingeniería de datos para IA
Soluciones Supermicro y Cloudera
El desafío
Existe una enorme cantidad de información impulsada por las aplicaciones en constante cambio, desde datos estructurados y no estructurados hasta semiestructurados. La infraestructura de TI convencional no está hecha para manejar la variedad, la velocidad y el volumen de los datos producidos por las redes de medios sociales, las aplicaciones móviles, los sensores de las máquinas y las investigaciones científicas, etc. Para las empresas, utilizar la analítica de grandes datos ya no es una cuestión de cuándo, sino de cómo. Spark, Hadoop y otros programas de código abierto, diseñados para el almacenamiento y procesamiento rentables de grandes volúmenes de datos, han nacido con este propósito. Puede escalar linealmente hasta miles de servidores y petabytes de almacenamiento.
Cloudera integra estas tecnologías de código abierto y proporciona soporte a nivel empresarial para ayudar a los clientes a obtener ventajas competitivas a partir de la gran cantidad de datos. Para ello, Cloudera se despliega en clústeres de servidores escalables. Supermicro simplifica el despliegue de clústeres Cloudera con sistemas fiables que disponen de gestión tanto en banda como fuera de banda y ofreciendo una amplia selección de plataformas de sistemas que se adaptan a los centros de datos de los clientes.
La solución y la ventaja Supermicro
Los clústeres de servidores Supermicro admiten Cloudera Cloud Data Platform (CDP) con un despliegue simplificado.
- ELECCIÓN DEL SISTEMA: Los clientes pueden elegir la mejor plataforma de hardware para construir clusters
- Sistemas Hyper de montaje en bastidor o servidores Twin multinodo, o servidores Blade
- Elección de arquitecturas de CPU, ya sean CPU empresariales Intel o AMD
- Elección de aceleradores de GPU para aplicaciones como la aceleración de Spark
- Elección de discos desde HDD a SSD o unidades NVMe
- Elección de arquitecturas de red, opciones de 10 GbE a 400 GbE
- Todos gestionados por las mismas interfaces IPMI / Redfish, y pueden ser agregados por el Supermicro Cloud Composer de un solo panel
- Muchos de los despliegues pueden automatizarse utilizando Supermicro Super Cloud Orchestrator
- ELECCIÓN DE IMPLEMENTACIÓN: Los clientes pueden implementar en bare-metal, Red Hat OpenShift, Kubernetes o en máquinas virtuales.
- ESCALABILIDAD: Los clientes pueden empezar con el cluster más pequeño y escalar añadiendo servidores.
- AUTOMATIZACIÓN: Supermicro puede construir el clúster, totalmente probado con garantía de calidad de construcción y calendario de entrega. La implementación del software puede desplegarse utilizando las funciones de automatización de Supermicro Cloud Orchestrator.
Ejemplo de clúster Cloudera CDP totalmente integrado
Principales características y ventajas:
- Configuraciones de clúster creadas a medida y optimizadas para la capacidad, el cálculo o el rendimiento de E/S
- Elección de CPU Intel Xeon Scalable o AMD EPYC - se recomienda utilizar la misma arquitectura de CPU para todo el clúster
- Diseño de nodo de nombre de alta disponibilidad sin punto único de fallo
- Grandes opciones de memoria diseñadas específicamente para Spark y otros cálculos en memoria y de baja latencia
- Plataformas de servidor Hyper diseñadas para despliegues extremadamente grandes
- Diseño de alta densidad de computación, almacenamiento y memoria para lograr la mejor eficiencia y el menor coste total de propiedad (TCO)
- Opciones flexibles de conmutadores de red con 1 ó 2 conmutadores 10G / 25G / 100G o más rápidos por rack.
- Diseño rentable en rack 14U, ideal para entornos de prueba de concepto
- Diseño de rack estándar 42U y opciones flexibles de PDU que se adaptan a cualquier entorno de centro de datos
- Eficiencia hasta nivel titanio (96%+) - Fuentes de alimentación redundantes con PMBus
- Integrado con IPMI y la suite SMC OOB (gestión fuera de banda) para la gestión automatizada del clúster
- Totalmente integrado, totalmente configurado y completamente probado con las distribuciones Hadoop de su elección
- Grupo de pruebas de concepto disponible para una experiencia de compra sin riesgos
- Soporte Cloudera Enterprise, con licencia de Cloudera
- 1 o 2x 48 puertos 10G SFP+ / 10GBase-T / 25GbE1 o 2 conmutadores de 32 puertos 100GbE, 1 conmutador de 48 puertos, GbE
- 1x Nodo de gestión 1U CPU Intel Xeon Scalable o AMD EPYC
- 3x Nodos de nombre 1U DP CPU Intel Xeon Scalable o AMD EPYC
- Nodos de datos optimizados 2U SSG, 2U BigTwin o 4U FatTwin® con CPU Intel Xeon Scalable o AMD EPYC
- Rack estándar de 42U con PDU medidos, opciones de personalización del rack disponibles
- El servicio de integración incluye Burn-in y pruebas completas del cluster, actualización de BIOS y FW, configuración de redes, preinstalación de la distribución Cloudera CDP de su elección y cluster completo.
Servidores Supermicro para despliegues Bare metal o Kubernetes
O
Servidores Supermicro para la implantación de VMware o el uso de GPUs
Supermicro y Cloudera ofrecen una recopilación de datos fiable para IA y análisis
Servidores Supermicro GrandTwin™ que ejecutan Cloudera Flow Management y Stream Processing
Supermicro y Cloudera ofrecen una recopilación de datos fiable para IA y análisis
Los servidoresCloudDC Supermicro destacan en la ejecución de la gestión de flujos y el procesamiento de flujos de Cloudera
Supermicro, Cloudera y NVIDIA aceleran el análisis de datos empresariales
Cómo los servidores Supermicro Ultra y la plataforma de datos Cloudera extraen información profunda de cantidades masivas de datos
El servidor Supermicro A+ AS -1124US-TNRP amplía su liderazgo en rendimiento OLTP con TPC Benchmark® C (TPC-C®)
Supermicro AS -1124US-TNRP Powered by AMD EPYC™ 7003 Series Processors Excel at Database Performance
Solución de migración de datos ATEMPO de Supermicro para datos no estructurados
Miria, una plataforma de software de migración de datos para conjuntos de archivos no estructurados a petaescala destaca en los servidores Supermicro
Arquitectura de referencia TwinPro² 2U de 4 nodos de Supermicro para EsgynDB
Supermicro y Esgyn se han unido para lanzar al mercado un dispositivo Big Data que ofrece una visión empresarial más rápida utilizando EsgynDB, una base de datos convergente Big Data optimizada para ejecutarse en la plataforma Supermicro 2U TwinPro² SuperServer de 4 nodos.
Récord mundial de rendimiento en cargas de trabajo de análisis de datos
Con el Supermicro AS -1114S-WN10RT impulsado por los procesadores AMD EPYC™ serie 7003