利润1000%!英伟达的GPU为何会如此受追捧?
发布时间: 2023-10-24 10:35
英伟达的GPU为何会如此受追捧?英伟达发布截至7月30日的2024财年第二财季财报。第二财季,英伟达营收135.1亿美元,同比增长101%;非美国通用会计准则下净利润为67.4亿美元,同比增长422%。而造就英伟达疯狂业绩的最大推手无疑就是AI——用于处理AI计算的GPU需求火爆,使得英伟达数据中心业务收入翻倍,营收占比拉高到76%,增速远超前一季度,刷新单季最高纪录。根据GPU Utils的测算,英伟达AI芯片H100在2023年8月的市场总需求可能在43.2万张左右,这个数字还没有包括中国区特供的H800,国内各家大模型厂商对H800的需求也居高不下。在财报公布前,英伟达高端AI GPU不断传出涨价声,Barrron's引述瑞杰金融分析师的数据指出,一张H100制造成本为3320美元,而售价则高达2.5万~3万美元,利润率高达1000%,且需求只增不减,H100已售罄缺货到2024年。毛利率超过70%,对芯片产品而言,有些不可思议。国外分析师认为,英伟达构建的CUDA软件生态是客户无法轻易转向AMD等竞争对手的主要原因。原因在于,AI算力的配置绝非简单的硬件堆叠,要把1000张加速卡、100台AI服务器放在一起,跑同一个LM训练或推论任务,还需要大量的配套软件、通讯网络,还不包括客户的大量数据。即便把重达30多公斤、多达3.5万个零件组成的英伟达HGX平台层层堆起来,也堆不出LLM必须的AI算力。黄仁勋把H100这类AI GPU称为“技术奇迹”,并非没有原因。至于H100为何价格高昂?在硬件层面上,H100采用了四大先进技术。第一是台积电4纳米制程(4N,其实并非真正的4nm,叫做5nm+或许更合适),要让这一颗长26.8厘米、宽11.1厘米、含有800亿个晶体管的H100发挥前所未有的效能,非台积电代工莫属。第二是连接技术,每张H100包含3个NVLink连接,这是英伟达独家的数据传输技术,第四代NVlink可提供每秒900GB的GPU对GPU互连带宽,以便将更多H100互连使用,获得倍增的效能。第三是80GB的HBM2e高带宽存储器,目前仅SK海力士、三星电子可供应,值得注意的是,英伟达刚刚宣布将最新的HBM3e植入最新GH200,是全球第一个支持HBM3e的GPU产品。第四是台积电的独家技术:CoWoS封装,台积电正积极扩建CoWoS产能,但供不应求情况恐将持续到2024年。CoWoS工艺能够提供更好的成本、散热和吞吐带宽,后两者对GPU特别重要。这四大技术每一项均属尖端领域,如果说LLM推动AI GPU加速运算时代来临,但让英伟达站在当前科技舞台上独舞的关键,却是黄仁勋领导团队的长期押注与心血累积。
热门文章
03/19 . 2024
03/13 . 2024
02/02 . 2024
01/31 . 2024
01/24 . 2024