杏彩体育官网登录IT之家 8 月 24 日音问,英伟达邀请个别媒体举办吹风会,向科技记者初次显现了 Blackwell 平台。英伟达将出席 8 月 25-27 日举办的 Hot Chips 2024 勾当,显现 Blackwell 平台正在数据中央进入利用的干系情景。
英伟达正在吹风会上演示了 Blackwell 正在其一个数据中央的运转情景,并夸大 Blackwell 正正在按设计促进,并将于本年晚些岁月向客户发货。
英伟达流露 Blackwell 不单仅是一款芯片,它照样一个平台。就像 Hopper 相似杏彩体育网页,Blackwell 蕴涵面向数据中央、云估计和人为智能客户的大方策画,每个 Blackwell 产物都由差别的芯片构成。
英伟达还分享了 Blackwell 系列产物中各样桥架的全新图片。这些是初次分享的 Blackwell 桥架图片,显现了策画下一代数据中央平台所需的大方专业工程工夫。
Blackwell 旨正在满意新颖人为智能的需求,并为大型发言模子(如 Meta 的 405B Llama-3.1)供给密切的职能。跟着 LLMs 的范畴越来越大,参数也越来越多,数据中央将须要更多的估计和更低的延迟。
多 GPU 推理形式是正在多个 GPU 进取行估计,以获取低延迟和高模糊量,但采用多 GPU 门途也有其庞大性。多 GPU 境遇中的每个 GPU 都务必将估计结果发送给每一层的其他 GPU,这就须要高带宽的 GPU 对 GPU 通讯。
多 GPU 推理形式是正在多个 GPU 进取行估计,以获取低延迟和高模糊量,但采用多 GPU 门途也有其庞大性。多 GPU 境遇中的每个 GPU 都务必将估计结果发送给每一层的其他 GPU,这就须要高带宽的 GPU 对 GPU 通讯。
该芯片通过 72 个端供词给 7.2 TB/s 的全对全双向带宽,网内估计才华为 3.6 TFLOPs。NVLINK 交流机托盘配有两个如许的交流机,供给高达 14.4 TB/s 的总带宽。
英伟达采用水冷散热,来晋升职能和功效。GB200、Grace Blackwell GB200 和 B200 编造将采用这些新的液冷治理计划,可将数据中央举措的电力本钱最多低浸 28%。
英伟达™(NVIDIA®)还分享了环球首张利用 FP4 估计天生的人为智能图像。图中显示,FP4 量化模子天生的 4 位兔子图像与 FP16 模子相当相像,但速率更疾杏彩体育网页。
该图像由 MLPerf 正在巩固扩散中利用 Blackwell 造造而成。现正在,低浸精度(从 FP16 到 FP4)所面对的挑衅是会失掉少许精度。