Zum Hauptinhalt springen

Spark, Hadoop, Datenstreaming, Data-Engineering-Lösungen für KI

Supermicro und Cloudera Solutions

Die Herausforderung

Die sich ständig weiterentwickelnden Anwendungen generieren enorme Datenmengen – von strukturierten über unstrukturierte bis hin zu semistrukturierten Daten. Herkömmliche IT-Infrastrukturen sind nicht darauf ausgelegt, die Vielfalt, Geschwindigkeit und das Volumen der Daten zu bewältigen, die von sozialen Netzwerken, mobilen Anwendungen, Maschinensensoren und wissenschaftlichen Studien etc. erzeugt werden. Für Unternehmen ist die Nutzung von Big-Data-Analysen daher nicht mehr eine Frage des Wann, sondern des Wie. Spark, Hadoop und andere Open-Source-Software, die für die kosteneffiziente Speicherung und Verarbeitung großer Datenmengen entwickelt wurden, sind genau für diesen Zweck geschaffen. Sie lassen sich linear auf Tausende von Servern und Petabytes an Speicherplatz skalieren.

Cloudera integriert diese Open-Source-Technologien und bietet Support auf Unternehmensebene, um Kunden dabei zu helfen, aus großen Datenmengen Wettbewerbsvorteile zu erzielen. Zu diesem Zweck wird Cloudera in skalierbaren Serverclustern bereitgestellt. Supermicro Cloudera vereinfacht die Clusterbereitstellung durch zuverlässige Systeme mit In-Band- und Out-of-Band-Management sowie durch eine breite Auswahl an Systemplattformen, die sich in die Rechenzentren der Kunden integrieren lassen.

Die Lösung und Supermicro Vorteil

Supermicro Servercluster unterstützen die Cloudera Cloud Data Platform (CDP) mit vereinfachter Bereitstellung.

  • SYSTEMAUSWAHLKunden können die beste Hardwareplattform für den Aufbau von Clustern auswählen.
    • Rackmontage CloudDC / Hyper Systeme oder Multi-Node-Twin-Server oder Blade-Server
    • Wahl der CPU-Architekturen, entweder Intel oder AMD Enterprise-CPUs
    • Auswahl von GPU-Beschleunigern für Anwendungen wie Spark-Beschleunigung
    • Auswahl an Datenträgern von HDD Zu SSD Zu NVMe fahrten
    • Auswahl an Netzwerkarchitekturen, 10-GbE- bis 400-GbE-Optionen
    • Alles wird vom selben IPMI verwaltet / Redfish Schnittstellen und können durch die Einzelansicht aggregiert werden Supermicro Cloud Composer
    • Viele der Bereitstellungsprozesse können automatisiert werden durch Supermicro Super Cloud Orchestrator
  • IMPLEMENTIERUNGSWAHL : Kunden können entweder eine Bare-Metal-Implementierung vornehmen, Red Hat OpenShift , Kubernetes oder Implementierungen virtueller Maschinen
  • SKALIERBARKEIT : Kunden können mit dem kleinsten Cluster beginnen und durch Hinzufügen von Servern skalieren.
  • AUTOMATISIERUNG : Supermicro Der Cluster kann erstellt werden, vollständig getestet mit garantierter Build-Qualität und termingerechter Lieferung. Die Software-Implementierung kann mithilfe der Automatisierungsfunktionen von bereitgestellt werden. Supermicro Cloud Orchestrator

Beispiel eines vollständig integrierten Cloudera CDP-Clusters

Hauptmerkmale und Vorteile:

  • Speziell entwickelte Clusterkonfigurationen, optimiert für Kapazität, Rechenleistung oder E/A-Leistung
  • Auswahl von Intel Xeon Skalierbar oder AMD EPYC CPUs – es wird empfohlen, für den gesamten Cluster die gleiche CPU-Architektur zu verwenden.
  • Hochverfügbares NameNode-Design ohne Single Point of Failure
  • Große Speicheroptionen, die speziell für Spark und andere speicherbasierte Berechnungen mit geringer Latenz entwickelt wurden.
  • Hyper -Skalierbare Serverplattformen, die für extrem große Installationen konzipiert sind
  • Hochdichtes Rechen-, Speicher- und Arbeitsspeicherdesign zur Erzielung höchster Effizienz und niedrigster Kosten TCO
  • Flexible Netzwerk-Switch-Optionen mit 1 oder 2x 10G / 25G / 100G oder schnelleren Switches pro Rack.
  • Kostengünstiges 14U-Rack-Design, ideal für Proof-of-Concept-Testumgebungen
  • Standardmäßiges 42U-Rack-Design und flexible PDU-Optionen, die jeder Rechenzentrumsumgebung gerecht werden
  • Bis zu Titan-Niveau (96 %+) Effizienz – Redundante Netzteile mit PMBus
  • Integrierte IPMI- und SMC-OOB-Suite (Out-of-Band-Management) für automatisiertes Clustermanagement
  • Vollständig integriert, vollständig konfiguriert und umfassend mit Hadoop-Distributionen Ihrer Wahl getestet
  • Ein Proof-of-Concept-Testcluster steht für ein risikofreies Kauferlebnis zur Verfügung.
  • Cloudera Enterprise-Support, lizenziert von Cloudera
Supermicro vollständig integrierte Hadoop-Cluster-Lösung Rack
  • 1 oder 2x 48-Port 10G SFP+ / 10GBase-T / 25GbE
    1 oder 2 x 32-Port-100GbE-Switch, 1 x 48-Port-Switch, GbE
  • 1x Management-Knoten 1U Intel Xeon Skalierbar oder AMD EPYC CPUs
  • 3x Name Nodes 1U DP Intel Xeon Skalierbar oder AMD EPYC CPUs
  • Optimierte Datenknoten 2U SSG, 2U BigTwin oder 4U FatTwin® mit Intel Xeon Skalierbar oder AMD EPYC CPUs
  • Standardmäßiges 42U-Rack mit verbrauchsabhängigen Stromverteilungseinheiten (PDUs), Rack-Anpassungsoptionen verfügbar
  • Der Integrationsservice umfasst einen vollständigen Burn-in und Test des Clusters, BIOS- und Firmware-Updates, Netzwerkkonfiguration, die Vorinstallation der Cloudera CDP-Distribution Ihrer Wahl sowie den vollständigen Cluster.
Supermicro Server

Supermicro Server für Bare-Metal- oder Kubernetes-Bereitstellungen

1U CloudDC -Server oder

Multi-Node GrandTwin® Server

ODER

Supermicro Server für VMware-Bereitstellung oder Verwendung von GPUs

2U Hyper Server