跳至主要内容

Spark、Hadoop、数据流、人工智能数据工程解决方案

Supermicro 以及 Cloudera Solutions

挑战

不断变化的应用驱动着海量信息,涵盖结构化、非结构化和半结构化数据。传统的IT基础设施无法应对社交媒体网络、移动应用、机器传感器和科学研究等产生的数据种类繁多、速度飞快且规模庞大。对于企业而言,利用大数据分析已不再是“何时”的问题,而是如何的问题。Spark、Hadoop和其他开源软件应运而生,它们旨在经济高效地存储和处理海量数据。这些软件可以线性扩展到数千台服务器和PB级存储。

Cloudera 集成了这些开源技术,并提供企业级支持,帮助客户从海量数据中获得竞争优势。为此,Cloudera 部署在可扩展的服务器集群中。 Supermicro Cloudera 集群部署通过可靠的系统简化,这些系统既支持带内管理也支持带外管理,并且提供多种系统平台选择,以适应客户的数据中心。

解决方案和Supermicro 优势

Supermicro 服务器集群支持 Cloudera 云数据平台 (CDP),并简化了部署。

  • 系统选择:客户可选择最佳硬件平台来构建集群
    • 机架式Hyper 系统或多节点 Twin 服务器或刀片服务器
    • 可选择 CPU 架构,英特尔或AMD 企业级 CPU
    • 为 Spark 加速等应用选择 GPU 加速器
    • 从 HDD 到 SSD 再到 NVMe 驱动器的磁盘选择
    • 网络架构选择,10GbE 至 400 GbE 选项
    • 全部由同一个IPMI管理/ Redfish 界面,并且可以通过单面板进行聚合。 Supermicro Cloud Composer
    • 许多部署工作都可以使用自动化方式完成。 Supermicro 超级云编排器
  • 实施选择:客户可以在裸机实施、Red Hat OpenShift、Kubernetes 或虚拟机实施上进行部署
  • 可扩展性:客户可以从最小的集群开始,然后通过增加服务器进行扩展。
  • 自动化: Supermicro 可以构建集群,经过全面测试,保证构建质量和交付进度。软件实现可以使用自动化功能进行部署。 Supermicro 云编排器

完全集成的 Cloudera CDP 集群示例

主要特点和优势

  • 专为容量、计算或 IO 性能而优化的集群配置
  • 可选择 IntelXeon Scalable 或AMD EPYC CPU - 建议整个集群使用相同的 CPU 架构
  • 高可用性名称节点设计,无单点故障
  • 专为 Spark 和其他内存内、低延迟计算设计的大内存选件
  • Hyper服务器平台专为超大规模部署而设计
  • 高密度计算、存储和内存设计,实现最佳效率和最低总体拥有成本
  • 灵活的网络交换机选项,每个机架可配置 1 或 2x 10G / 25G / 100G 或更高速度的交换机。
  • 经济高效的 14U 机架设计,是概念验证测试环境的理想选择
  • 标准 42U 机架设计和灵活的 PDU 选件可满足任何数据中心环境的需求
  • 高达钛级 (96%+) 效率 - 配备 PMBus 的冗余电源
  • 内置 IPMI 和 SMC OOB(带外管理)套件,用于自动集群管理
  • 与您选择的 Hadoop 发行版完全集成、完全配置和完全测试
  • 概念验证测试集群可提供无风险购买体验
  • Cloudera 企业版支持,由 Cloudera 授权。
Supermicro 完全集成的Hadoop集群解决方案机架
  • 1 或 2x 48 端口 10G SFP+ / 10GBase-T / 25GbE
    1 或 2x 32 端口 100GbE,1x 48 端口交换机,GbE
  • 1x 管理节点 1U IntelXeon Scalable 或AMD EPYC CPU
  • 3x 名称节点 1U DP IntelXeon Scalable 或AMD EPYC CPU
  • 优化数据节点 2U SSG、2U BigTwin 或 4U FatTwin®,配备 IntelXeon Scalable 或AMD EPYC CPU
  • 标准 42U 机架,配有计量 PDU,可提供机架定制选项
  • 集成服务包括完整的集群老化测试、BIOS 和固件更新、网络配置、预安装您选择的 Cloudera CDP 发行版以及完整的集群部署。
Supermicro 服务器

Supermicro 用于裸机或 Kubernetes 部署的服务器

1UCloudDC 服务器

多节点 GrandTwin® 服务器

Supermicro 用于 VMware 部署或使用 GPU 的服务器

2UHyper 服务器