Zum Hauptinhalt springen

Opensource Spark, Daten-Streaming, Daten-Engineering-Lösungen für KI

Supermicro mit Opensource

Die Herausforderung

Durch die sich ständig verändernden Anwendungen entsteht eine enorme Menge an Informationen, die von strukturierten, unstrukturierten bis hin zu halbstrukturierten Daten reichen. Die herkömmliche IT-Infrastruktur ist nicht für die Vielfalt, Geschwindigkeit und Menge der Daten ausgelegt, die von sozialen Netzwerken, mobilen Anwendungen, maschinellen Sensoren und wissenschaftlichen Forschungen usw. erzeugt werden. Für Unternehmen ist die Nutzung von Big-Data-Analysen nicht mehr eine Frage des Wann, sondern des Wie. Spark und andere Open-Source-Software, die für die kosteneffiziente Speicherung und Verarbeitung großer Datenmengen entwickelt wurde, ist für diesen Zweck wie geschaffen. Sie kann linear bis zu Tausenden von Servern und Petabytes an Speicherplatz skaliert werden.

Für Service-Provider und Open-Source-erfahrene Kunden, die Open-Source-Implementierungen von Spark und zugehöriger Daten-Streaming- und Data-Engineering-Software verwalten und pflegen können, vereinfacht Supermicro die Bereitstellung von Kubernetes-Clustern mit zuverlässigen Systemen, die sowohl über In-Band- als auch Out-of-Band-Management verfügen und eine große Auswahl an Systemplattformen bieten, die in die Rechenzentren der Kunden passen.

Die Lösung und der Vorteil von Supermicro

Supermicro unterstützen OpenSource mit vereinfachter Kubernetes-Bereitstellung.

  • SYSTEMWAHL: Kunden können die beste Hardware-Plattform für den Aufbau von Clustern wählen
    • Hyper zur Rackmontage oder Twin-Server mit mehreren Knoten oder Blade-Server
    • Auswahl an CPU-Architekturen, entweder Intel- oder AMD
    • Auswahl an GPU-Beschleunigern für Anwendungen wie Spark-Beschleunigung
    • Auswahl an Festplatten von HDD über SSD bis hin zu NVMe-Laufwerken
    • Auswahl an Netzwerkarchitekturen, 10GbE bis 400 GbE Optionen
    • Alle werden über dieselben IPMI-/Redfish-Schnittstellen verwaltet und können über den einseitigen Supermicro Cloud Composer zusammengefasst werden.
    • Viele der Einsätze können mit Supermicro Super Cloud Orchestrator automatisiert werden.
  • AUSWAHL DER IMPLEMENTIERUNG: Kunden können entweder eine Bare-Metal-Implementierung, Red Hat OpenShift, Kubernetes oder eine Implementierung auf einer virtuellen Maschine nutzen.
  • SKALIERBARKEIT: Kunden können mit dem kleinsten Cluster beginnen und durch Hinzufügen von Servern skalieren.
  • AUTOMATISIERUNG: Supermicro kann den Cluster aufbauen, vollständig getestet mit garantierter Aufbauqualität und Lieferplan. Die Software-Implementierung kann mithilfe der Automatisierungsfunktionen von Supermicro Cloud Orchestrator bereitgestellt werden

Beispiel für einen vollständig integrierten Open-Source-Cluster mit Kubernetes

Hauptmerkmale und Vorteile:

  • Speziell entwickelte Clusterkonfigurationen, die für Kapazität, Rechenleistung oder IO-Leistung optimiert sind
  • Unterstützung von Kubernetes, OpenShift und anderen Kubernetes-Implementierungen
  • Wahl zwischen Intel Xeon Scalable oder AMD EPYC CPUs - es wird empfohlen, die gleiche CPU-Architektur für den gesamten Cluster zu verwenden
  • Hohe Verfügbarkeit Name Node Design ohne Single Point of Failure
  • Große Speicheroptionen, die speziell für Spark und andere In-Memory-Berechnungen mit geringer Latenz entwickelt wurden
  • Hyper für extrem große Bereitstellungen
  • Hohe Dichte bei Rechen-, Speicher- und Arbeitsspeicherdesign für beste Effizienz und niedrigste TCO
  • Flexible Netzwerk-Switch-Optionen mit 1 oder 2x 10G / 25G / 100G oder schnelleren Switches pro Rack.
  • Kostengünstiges 14U-Rack-Design, ideal für Proof-of-Concept-Testumgebung
  • Standardmäßiges 42U-Rack-Design und flexible PDU-Optionen, die für jede Rechenzentrumsumgebung geeignet sind
  • Effizienz bis zum Titanium Level (96%+) - Redundante Stromversorgungen mit PMBus
  • Integriert mit IPMI und SMC OOB (out of band management) Suite für automatisiertes Cluster-Management
  • Vollständig integriert, vollständig konfiguriert und vollständig getestet mit Hadoop-Distributionen Ihrer Wahl
  • Proof-of-Concept-Testcluster für risikofreie Kauferfahrung verfügbar
  • Der Kunde stellt das Systemabbild der Open-Source-Software zur Verfügung, der Kunde unterstützt sich selbst
Supermicro voll integrierte Hadoop-Cluster-Lösung Rack
  • 1 oder 2x 48 Anschlüsse 10G SFP+ / 10GBase-T / 25GbE
    1 oder 2x 32 Port 100GbE, 1x 48 Port Switch, GbE
  • 1x Management-Knoten 1U Intel Xeon Scalable oder AMD EPYC CPUs
  • 3x Namensknoten 1U DP Intel Xeon Scalable oder AMD EPYC CPUs
  • Optimierte Datenknoten 2U SSG, 2U BigTwin oder 4U FatTwin® mit Intel Xeon Scalable oder AMD EPYC CPUs
  • Standard 42U-Rack mit gemessenen PDUs, Rack-Anpassungsoptionen verfügbar
  • Der Integrationsservice umfasst das vollständige Einbrennen und Testen des Clusters, BIOS- und FW-Update, Netzwerkkonfiguration, vom Kunden bereitgestelltes Open-Source-Image
Supermicro

Supermicro für Bare-Metal- oder Kubernetes-Bereitstellungen

1U CloudDC oder

GrandTwin®-Server mit mehreren Knoten

OR

Supermicro für VMware-Einsatz oder Verwendung von GPUs

Hyper