Zum Hauptinhalt springen

Opensource Spark, Daten-Streaming, Daten-Engineering-Lösungen für KI

Supermicro Lösungen auf Open-Source-Basis

Die Herausforderung

Durch die sich ständig verändernden Anwendungen entsteht eine enorme Menge an Informationen, die von strukturierten, unstrukturierten bis hin zu halbstrukturierten Daten reichen. Die herkömmliche IT-Infrastruktur ist nicht für die Vielfalt, Geschwindigkeit und Menge der Daten ausgelegt, die von sozialen Netzwerken, mobilen Anwendungen, maschinellen Sensoren und wissenschaftlichen Forschungen usw. erzeugt werden. Für Unternehmen ist die Nutzung von Big-Data-Analysen nicht mehr eine Frage des Wann, sondern des Wie. Spark und andere Open-Source-Software, die für die kosteneffiziente Speicherung und Verarbeitung großer Datenmengen entwickelt wurde, ist für diesen Zweck wie geschaffen. Sie kann linear bis zu Tausenden von Servern und Petabytes an Speicherplatz skaliert werden.

Für Dienstleister und Kunden mit Open-Source-Kenntnissen, die Open-Source-Implementierungen von Spark und zugehörige Datenstreaming- und Data-Engineering-Software verwalten und warten können, vereinfacht Supermicro die Bereitstellung von Kubernetes-Clustern mit zuverlässigen Systemen, die sowohl In-Band- als auch Out-of-Band-Management bieten, und durch das Angebot einer breiten Auswahl an Systemplattformen, die in die Rechenzentren der Kunden passen.

Die Lösung und der Supermicro-Vorteil

Supermicro Server-Cluster unterstützen Open Source mit vereinfachter Kubernetes-Bereitstellung.

  • SYSTEMWAHL: Kunden können die beste Hardware-Plattform für den Aufbau von Clustern wählen
    • Hyper zur Rackmontage oder Twin-Server mit mehreren Knoten oder Blade-Server
    • Wahl der CPU-Architekturen, entweder Intel oder AMD Enterprise CPUs
    • Auswahl an GPU-Beschleunigern für Anwendungen wie Spark-Beschleunigung
    • Auswahl an Festplatten von HDD über SSD bis hin zu NVMe-Laufwerken
    • Auswahl an Netzwerkarchitekturen, 10GbE bis 400 GbE Optionen
    • Alle werden über dieselben IPMI-/Redfish-Schnittstellen verwaltet und können über den Single-Pane Supermicro Cloud Composer aggregiert werden.
    • Viele der Bereitstellungen können mithilfe des Supermicro Super Cloud Orchestrator automatisiert werden
  • AUSWAHL DER IMPLEMENTIERUNG: Kunden können entweder eine Bare-Metal-Implementierung, Red Hat OpenShift, Kubernetes oder eine Implementierung auf einer virtuellen Maschine nutzen.
  • SKALIERBARKEIT: Kunden können mit dem kleinsten Cluster beginnen und durch Hinzufügen von Servern skalieren.
  • AUTOMATISIERUNG: Supermicro kann den Cluster bauen, vollständig getestet mit garantierter Bauqualität und Liefertermin. Die Softwareimplementierung kann unter Verwendung der Automatisierungsfunktionen des Supermicro Cloud Orchestrator bereitgestellt werden.

Beispiel für einen vollständig integrierten Open-Source-Cluster mit Kubernetes

Hauptmerkmale und Vorteile:

  • Speziell entwickelte Clusterkonfigurationen, die für Kapazität, Rechenleistung oder IO-Leistung optimiert sind
  • Unterstützung von Kubernetes, OpenShift und anderen Kubernetes-Implementierungen
  • Wahl zwischen Intel Xeon Scalable oder AMD EPYC CPUs – es wird empfohlen, dieselbe CPU-Architektur für den gesamten Cluster zu verwenden
  • Hohe Verfügbarkeit Name Node Design ohne Single Point of Failure
  • Große Speicheroptionen, die speziell für Spark und andere In-Memory-Berechnungen mit geringer Latenz entwickelt wurden
  • Hyper für extrem große Bereitstellungen
  • Hohe Dichte bei Rechen-, Speicher- und Arbeitsspeicherdesign für beste Effizienz und niedrigste TCO
  • Flexible Netzwerk-Switch-Optionen mit 1 oder 2x 10G / 25G / 100G oder schnelleren Switches pro Rack.
  • Kostengünstiges 14U-Rack-Design, ideal für Proof-of-Concept-Testumgebung
  • Standardmäßiges 42U-Rack-Design und flexible PDU-Optionen, die für jede Rechenzentrumsumgebung geeignet sind
  • Effizienz bis zum Titanium Level (96%+) - Redundante Stromversorgungen mit PMBus
  • Integriert mit IPMI und SMC OOB (out of band management) Suite für automatisiertes Cluster-Management
  • Vollständig integriert, vollständig konfiguriert und vollständig getestet mit Hadoop-Distributionen Ihrer Wahl
  • Proof-of-Concept-Testcluster für risikofreie Kauferfahrung verfügbar
  • Der Kunde stellt das Systemabbild der Open-Source-Software zur Verfügung, der Kunde unterstützt sich selbst
Supermicro vollintegriertes Hadoop-Cluster-Lösungs-Rack
  • 1 oder 2x 48 Anschlüsse 10G SFP+ / 10GBase-T / 25GbE
    1 oder 2x 32 Port 100GbE, 1x 48 Port Switch, GbE
  • 1x Management Node 1U Intel Xeon Scalable oder AMD EPYC CPUs
  • 3x Name Nodes 1U DP Intel Xeon Scalable oder AMD EPYC CPUs
  • Optimierte Data Nodes 2U SSG, 2U BigTwin oder 4U FatTwin® mit Intel Xeon Scalable oder AMD EPYC CPUs
  • Standard 42U-Rack mit gemessenen PDUs, Rack-Anpassungsoptionen verfügbar
  • Der Integrationsservice umfasst das vollständige Einbrennen und Testen des Clusters, BIOS- und FW-Update, Netzwerkkonfiguration, vom Kunden bereitgestelltes Open-Source-Image
Supermicro Server

Supermicro Server für Bare-Metal- oder Kubernetes-Implementierungen

1U CloudDC oder

GrandTwin®-Server mit mehreren Knoten

OR

Supermicro Server für VMware-Implementierungen oder mit GPUs

Hyper