无版权视频素材网站,网站建设有那些,什么叫建网站,wordpress极简杂志主题文章目录 一、前言1、Infiniband网络1.1、网络类型1.2、网络拓扑1.3、硬件设备1.3.1、网卡1.3.2、连接线缆a、光模块b、线缆 1.3.4、交换机 2、Ethernet网络 二、部署实践#xff08;以太网#xff09;1、Intel E810-XXVDA21.1、网卡信息1.2、检查命令1.2、驱动编译 2、Mella… 文章目录 一、前言1、Infiniband网络1.1、网络类型1.2、网络拓扑1.3、硬件设备1.3.1、网卡1.3.2、连接线缆a、光模块b、线缆 1.3.4、交换机 2、Ethernet网络 二、部署实践以太网1、Intel E810-XXVDA21.1、网卡信息1.2、检查命令1.2、驱动编译 2、Mellanox MCX456A-ECAT [ConnectX-4]2.1、网卡信息1.2、检查命令1.2、驱动安装 一、前言
1、Infiniband网络 What is InfiniBand Network and the Difference with Ethernet? Infiniband是一种高带宽、低延迟、高可靠性的开放标准网络互连技术这项技术是由 IBTA (InfiniBand Trade Association)定义的该技术在超级计算机集群领域得到了广泛的应用。
1.1、网络类型
Infiniband在物理层定义了多种链路速度如x1链路、x4链路、x12链路每个单独的链路都是四线串行差分连接每个方向两根线目前大多采用x4链路当前Infiniband主流常见网络类型参考如下 网络类型信号速率编码方式x1链路速率x4链路速率x12链路速率SDRSingle Data Rate2.5Gb/s8b/10b2Gb/s8Gb/s24Gb/sDDRDouble Data Rate5Gb/s8b/10b4Gb/s16Gb/s48Gb/sQDRQuad Data Rate10Gb/s8b/10b8Gb/s32Gb/s96Gb/sFDRFourteen Data Rate14.0625Gb/s64b/66b13.64Gb/s54.54Gb/s163.64Gb/sEDREhanced Data Rate25.78125Gb/s64b/66b25Gb/s100Gb/s300Gb/sHDRHigh Data Rate50Gb/s64b/66b50Gb/s200Gb/s600Gb/sNDRNext Data Rate100Gb/s64b/66b100Gb/s400Gb/s1200Gb/s
1.2、网络拓扑
Infiniband是处理器和I/O设备之间数据流的通信链路支持多达64,000个可寻址设备。IBA(InfiniBand Architecture)是一个行业标准规范它定义了一个点对点交换输入/输出框架用于互连服务器、通信基础设施、存储设备和嵌入式系统。
Infiniband具有广泛性、低时延、高带宽和低管理成本等优点是将多个数据流(集群、通信、存储、管理)在一个连接中连接数千个节点的理想选择。最小的IBA完整单元是一个子网单个子网最大可由6万多个节点组成多个子网通过路由器相互连接形成一个大的IBA网络。子网内部使用交换机进行二层处理子网之间使用路由器或网桥进行连接。 Infiniband是一种基于通道的结构通道适配器就是搭建Infiniband通道使用的所有传输均以通道适配器开始或结束以确保安全或在给定的QoS服务质量级别下工作。其组成单元可以分为以下四类
HCAHost Channel Adapters主机通道适配器TCATarget Channel Adapters目标通道适配器IB LinkInfiniband LinkInfiniband连接通道包括连接头和线缆两部分其中线缆可以是电缆或光纤Switch/RouterInfiniband组网设备 1.3、硬件设备
1.3.1、网卡
高端网卡通常支持IB RDMA和ROCE两种可以接入IB交换机或以太网交换机具体支持情况需要根据产品规格进行确定。 网卡按照速率可分为QDR40Gb、EDR100Gb、HDR200Gb及NDR400Gb
1.3.2、连接线缆
连接线缆包括光模块和线缆两部分
a、光模块 The Big Differences Between SFP, SFP, SFP28, QSFP, QSFP28, QSFP-DD, and OSFP Quickview about SFP, SFP, SFP28, QSFP, QSFP28, QSFP-DD and OSFP sfp-vs-sfp-vs-sfp28-vs-qsfp-vs-qsfp28-vs-qsfp-dd-vs-osfp-differences 光模块在数据通信行业中起着关键的作用SFP、SFP、SFP28、QSFP、QSFP28、QSFP56、QSFP-DD和OSFP是不同类型的光收发器。 它们都是可热插拔的网络接口模块用于连接网络交换机和其他网络设备(如服务器)的数据传输常见光模块类型参考如下
光模块类型支持速率大小(mm2)兼容性线缆类型连接头SFP100 Mb/s 1 Gb/s113.9100 Mb/s SFPFiber、Twisted PairLC、RJ45SFP10 Gb/s113.91 Gb/s SFPFiber、Twisted Pair、DACLC、RJ45SFP2825 Gb/s113.910 Gb/s SFPFiber、DACLCSFP5650 Gb/s113.9SFP、SFP、SFP28Fiber、DACLCQSFP4 Gb/s156noneQSFP40 Gb/s156noneFiber、DACLC、MTP/MPOQSFP2850 Gb/s156QSFPFiber、DACLCQSFP28100 Gb/s156noneFiber、DACLC、MTP/MPO-12QSFP56200 Gb/s156noneFiber、DACLC、MTP/MPO-12QSFP-DD400 Gb/s156QSFP、QSFP28Fiber、DACLC、MTP/MPO-16OSFP400 Gb/s 800 Gb/s比QSFP略大noneFiber、DACLC、MTP/MPO-12
b、线缆
Infiniband网络中使用的线缆区别于传统的以太网线缆和光纤线缆。针对不同的连接场景需使用专用的InfiniBand线缆可分为DAC高速铜缆、AOC有源线缆两种两者材质不一前者使用铜缆、后者使用光纤AOC有源线缆价格要高于DAC高速铜缆 注针对不同网络速率QDR40Gb、EDR100Gb、HDR200Gb及NDR400Gb对应线缆有所不同需要根据选定的IB交换机及网卡适配
1.3.4、交换机
Infiniband网络需使用专用的IB交换机
2、Ethernet网络
以太网Ethernet是由Xerox主导并由Xerox、Intel、DEC联合开发的基带局域网规范标准于1980年9月30日发布是现有局域网所采用最通用的通信协议标准通过电缆传输和接收数据。 以太网用于创建局域网并连接多台计算机或其他设备如打印机、扫描仪等在有线网络中通过光纤电缆完成在无线网络中通过无线网络技术完成。 目前由IEEE主导的IEEE 802.3已发布100GE、200GE、400GE的以太网接口标准常用的网络类型有以下几种
网络名称IEEE标准传输速率网络类型Ethernet802.310 Mbps10Base-TFast Ethernet802.3u100 Mbps100Base-TX100Base-FXGigabit Ethernet802.3z1000 Mbps1000Base-T1000Base-SX1000Base-LX10 Gigabit EthernetIEEE 802.3ae10 Gbps10GBase-SR10GBase-LX410GBase-LR/ER10GBase-SW/LW/EW
二、部署实践以太网
1、Intel E810-XXVDA2
1.1、网卡信息 网卡介绍英特尔® 以太网网络适配器 E810-XXVDA2 网卡端口双口Dual-Port网卡速率25/10/1GbEPCIe版本16 GT/sPCIe 4.0插槽宽度x8 lanes网卡控制器Intel Ethernet Controller E810网卡驱动ice
1.2、检查命令
查看当前PCIe网卡列表lspci | grep Eth
[rootnode155 ~]# lspci | grep Eth
18:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP Network Connection (rev 01)
18:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP Network Connection (rev 01)
60:00.0 Ethernet controller: Intel Corporation Ethernet Connection X722 for 1GbE (rev 09)
60:00.1 Ethernet controller: Intel Corporation Ethernet Connection X722 for 1GbE (rev 09)
61:00.0 Ethernet controller: Intel Corporation Device 159b (rev 02)
61:00.1 Ethernet controller: Intel Corporation Device 159b (rev 02)查看当前PCIe网卡产品型号lspci -vvv -s pci-device-num | grep Product Name
[rootnode155 ~]# lspci -vvv -s 61:00.0 | grep Product NameProduct Name: Intel(R) Ethernet Network Adapter E810-XXVDA2查看当前PCIe网卡速率lspci -vvv -spci-device-num | grep -E (LnkCap:|LnkSta:) 注LnkCap表示网卡理论的传输速率LnkSta表示网卡实际的传输速率当出现LnkSta LnkCap情况时网卡速率会大幅下降通常为服务器PCIe插槽和网卡存在兼容性问题尝试更换网卡或PCIe插槽解决
[rootnode8 ~]# lspci -vvv -s 61:00.0 | grep -E (LnkCap:|LnkSta:)LnkCap: Port #0, Speed 16GT/s, Width x8, ASPM not supported, Exit Latency L0s unlimited, L1 4usLnkSta: Speed 8GT/s, Width x4, TrErr- Train- SlotClk DLActive- BWMgmt- ABWMgmt-1.2、驱动编译 驱动下载Intel® Network Adapter Driver for E810 Series Devices under Linux* 下载驱动程序(下载地址适用于 Linux* 下的 E810 系列装置的 Intel® 网络适配器驱动程序)
wget https://downloadmirror.intel.com/789309/ice-1.12.7.tar.gz源码编译安装加载ice网卡驱动模块
tar -zxvf ice-1.12.7.tar.gz
cd ice-1.12.7/src/
make install
modprobe ice查看网卡速率信息
[rootnode8 src]# ethtool enp97s0f0
Settings for enp97s0f0:Supported ports: [ FIBRE ]Supported link modes: 1000baseT/Full25000baseCR/Full25000baseSR/Full1000baseX/Full10000baseCR/Full10000baseSR/Full10000baseLR/FullSupported pause frame use: SymmetricSupports auto-negotiation: NoSupported FEC modes: NoneAdvertised link modes: 25000baseSR/Full10000baseSR/FullAdvertised pause frame use: NoAdvertised auto-negotiation: NoAdvertised FEC modes: None BaseR RSSpeed: 25000Mb/sDuplex: FullPort: FIBREPHYAD: 0Transceiver: internalAuto-negotiation: offSupports Wake-on: dWake-on: dCurrent message level: 0x00000007 (7)drv probe linkLink detected: yes2、Mellanox MCX456A-ECAT [ConnectX-4] 环境信息 100G双口网卡 Mellanox MCX456A-ECAT 100G以太网DAC线缆3米 Mellanox MCP1600-C003 2.1、网卡信息 NVIDIA ConnectX InfiniBand网卡介绍 NVIDIA ConnectX-4 InfiniBand/Ethernet Adapter Cards User Manual 网卡端口双口Dual-port QSFP28网卡速率InfiniBand: SDR/DDR/QDR/FDR/EDREthernet: 10/25/40/50/100 Gb/sPCIe版本8.0GT/sPCIe 3.0插槽宽度x16 lanes网卡驱动mlx5_core
1.2、检查命令
查看当前PCIe网卡列表lspci | grep Eth
[rootnode176 ~]# lspci | grep Eth
0000:01:00.0 Ethernet controller: Mellanox Technologies MT27700 Family [ConnectX-4]
0000:01:00.1 Ethernet controller: Mellanox Technologies MT27700 Family [ConnectX-4]
0001:06:00.0 Ethernet controller: Beijing Wangxun Technology Co., Ltd. WX1860A2 Gigabit Ethernet Controller (rev 01)
0001:06:00.1 Ethernet controller: Beijing Wangxun Technology Co., Ltd. WX1860A2 Gigabit Ethernet Controller (rev 01)查看当前PCIe网卡速率lspci -vvv -spci-device-num | grep -E (LnkCap:|LnkSta:) 注LnkCap表示网卡理论的传输速率LnkSta表示网卡实际的传输速率当出现LnkSta LnkCap情况时网卡速率会大幅下降通常为服务器PCIe插槽和网卡存在兼容性问题尝试更换网卡或PCIe插槽解决
[rootnode176 ~]# lspci -vvv -s 0000:01:00.0 | grep -E (LnkCap:|LnkSta:)LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM not supportedLnkSta: Speed 8GT/s, Width x161.2、驱动安装 驱动下载Intel® Network Adapter Driver for E810 Series Devices under Linux* 根据当前操作系统版本及硬件架构选择下载对应驱动软件包MLNX_OFED_LINUX-5.8-4.1.5.0-rhel8.2-aarch64.tgz 对于主流发行系统版本在不升级默认内核版本情况下mlnx_ofed提供了预构建RPM包直接执行驱动软件安装即可
tar -zxvf MLNX_OFED_LINUX-5.8-4.1.5.0-rhel8.2-aarch64.tgz
cd MLNX_OFED_LINUX-5.8-4.1.5.0-rhel8.2-aarch64/
./mlnxofedinstall
