AI大模型年代，算力隐秘的旮旯｜年终复盘

liukang20249小时前吃瓜入口134

来历：光锥智能

文｜白鸽

编｜王一粟、苏扬

要想富，先筑路。

想要AI大模型可以继续迭代晋级，离不开底层算力根底设施的树立。自2022年ChatGPT迸发以来，算力商场也迎来了迸发式添加。

一方面，我国的科技巨子们，为了抢占未来AGI年代的门票，正在进行的算力“军备竞赛”，张狂囤积显卡资源的一起，也正在进行从千卡、万卡再到十万卡等级算力集群的建造。

研讨机构Omdia陈述显现，2024年字节跳动订货了约23万片英伟达的芯片，成为英伟达收购数排名第二的客户。

有报导称，字节跳动2025年的本钱开支将到达1600亿元，其间900亿将用来购买AI算力。与字节跳动平等规划的大厂，包含阿里、百度、我国电信等企业，也都在推进十万卡等级的算力集群建造。

而科技巨子们张狂的算力基建行为，无疑也正在不断将我国AI算力商场面向高潮。

但巨子们张狂扩展算力规划的另一面，我国算力商场中却有许多的算力资源被搁置，乃至开端呈现“我国全体算力资源供过于求”的声响。

“算力商场2023年十分火，做功能相对较低的A100的都赚到了钱，但2024年商场冷淡许多，许多卡都没有拆封。不过各种因素叠加下，面向游戏和消费商场的4090仍处于需求更多的状况。”云轴科技ZStack CTO王为对光锥智能说道。

这两年，算力生意是大模型浪潮中第一个掘到金的赛道，除了英伟达，也还有许多云厂商、PaaS层算力优化服务商、乃至芯片经纪们都在前赴后继。而这一轮算力需求的暴增，首要是因为AI大模型的迅猛开展所驱动起来的。

AI的需求就像一个抽水泵，将本来安稳多年的算力商场激活，从头激起汹涌的浪花。

但现在，这个源头动力发生了改动。AI大模型的开展，正逐步从预练习走向推理使用，也有越来越多的玩家开端挑选抛弃超大模型的预练习。比方日前，零一万物创始人兼CEO李开复就揭露表明，零一万物不会中止预练习，但不再追逐超大模型。

在李开复看来，假如要寻求AGI，不断练习超大模型，也意味着需求投入更多GPU和资源，“仍是我之前的判别——当预练习成果现已不如开源模型时，每个公司都不应该执着于预练习。”

也正因而，作为从前我国大模型创业公司的六小虎之一，零一万物开端变阵，后续将押注在AI大模型推理使用商场上。

就在这样一个需求和供应，都在快速改动的阶段，商场的天平在不断歪斜。

2024年，算力商场呈现供需结构性失衡。未来算力基建是否还要继续，算力资源究竟该销往何处，新入局玩家们又该怎么与巨子竞赛，成为一个个要害出题。

一场环绕智能算力商场的隐秘江湖，正缓缓拉开帷幕。

供需错配：低质量的扩张，碰上高质量需求

1997年，还很年青的刘淼，参加了其时开展如日中天的IBM，这也使其一脚就迈入了核算职业。

20世纪中叶，IBM开发的大型主机被誉为“蓝色伟人”，简直垄断了全球的企业核算商场。

“其时IBM的几台大型主机，就可以支撑起一家银行在全国的中心事务系统的运转，这也让我看到了核算让事务系统加快的价值。”刘淼对光锥智能说道。

也正是在IBM的阅历，为刘淼后续投身新一代智算埋下伏笔。

而在阅历了以CPU为代表的主机年代、云核算年代后，当时算力已进入到以GPU为主的智算年代，其整个核算范式也发生了底子改动，究竟假如沿袭老的架构计划，就需求把许多数据经过CPU绕行再通往GPU，这就导致GPU的大算力和大带宽被糟蹋。而GPU练习和推理场景，也对高速互联、在线存储和隐私安全提出了更高的要求。

这也就催生了我国智能算力工业链上下游的开展，特别是以智算中心为主的根底设施建造。

2022年末，ChatGPT的发布正式敞开AI大模型年代，我国也随之进入“百模大战”阶段。

彼时各家都期望可以给大模型预练习供应算力，而职业中也存在并不清楚终究算力需求在哪，以及谁来用的状况，“这一阶段咱们会优先买卡，做一种资源的囤积。”图灵新智算联合创始人兼研讨院院长洪锐说道，这也是智算1.0年代。

跟着大模型练习参数越来越大，终究发现真实算力资源消纳方，会集到了做预练习的玩家上。

“这一轮AI工业迸发的前期，便是期望经过在根底模型预练习上不断扩展算力耗费，探究通往AGI（通用人工智能）的路途。”洪锐说道。

揭露数据显现，ChatGPT的练习参数现已到达了1750亿、练习数据45TB，每天生成45亿字的内容，支撑其算力至少需求上万颗英伟达的GPU A100，单次模型练习本钱超越1200万美元。

别的，2024年多模态大模型犹如神仙打架，视频、图片、语音等数据的练习对算力提出了更高的需求。

揭露数据显现，OpenAI的Sora视频生成大模型练习和推理所需求的算力需求别离到达了GPT-4的4.5倍和近400倍。我国银河证券研讨院的陈述也显现，Sora对算力需求呈指数级添加。

因而，自2023年开端，除各方实力囤积显卡资源之外，为满意更多算力需求，我国算力商场迎来迸发式添加，特别是智算中心。

赛迪参谋人工智能与大数据研讨中心高档分析师白润轩此前表明：“从2023年开端，各地政府加大了对智算中心的出资力度，推进了根底设施的开展。”

在商场和政策的两层影响下，我国智算中心在短短一两年时刻如漫山遍野般快速建造起来。

这其间既有政府主导建造项目，也有以阿里云、百度智能云、商汤等企业为主开端出资建造的智算中心，更有一些跨界企业看到其间的时机然后迈入这一赛道。

一起，还有像图灵新智算、趋境科技、硅基活动等创业公司进入到算力职业。

相关数据显现，到2024年上半年，国内现已建造和正在建造的智算中心超越250个，2024年上半年智算中心招投标相关事情791起，同比添加高达407.1%。

可是，智算中心的建造并非简略的修桥铺路，一是对技能和专业度的要求很高，二是建造和需求往往存在错配，三是对继续的规划缺少。

在刘淼看来，智算中心其实是我国一起的产品，某种程度上承当了部分支撑本地工业开展的社会任务，但不是纯商场化的行为带来一大问题，便是在长达12-24个月建造周期后，“建好了就搁置了，因为现已不能满意2年后职业对算力需求了。”

从当时来看，我国算力商场资源在某些区域确实呈现搁置。“我国算力商场现阶段问题的本源，就在于太粗豪了。”刘淼说道。

不过，商场不能简略讲是供需过剩，或许供需缺少，实践上是算力供应与需求的错配。即高质量的算力需求远远缺少，但低质量的算力供应却找不到太多的商场需求。究竟，大模型预练习玩家往往需求万卡以上的算力资源池。

可是，我国算力商场上前期部分智算中心的规划，“或许只要几十台到一两百台，这关于当时根底模型的预练习来说是远远不行的，但设备选型是匹配的预练习需求。”洪锐表明，站在预练习视点，算力确实稀缺，但因为规划达不到而不能用的算力放在那里就成了搁置。

大模型赛道分解，算力需求悄然改变

大模型商场的开展改动太快了。

原本在大模型预练习阶段，职业中玩家期望可以经过不断的练习来进步大模型作用，假如这一代不可，就花更多算力、更多资金去练习下一代大模型。

“之前大模型赛道开展逻辑是这样的，但到了2024年6月份左右，职业中可以显着感知到，大模型预练习这件事现已到了投入产出的临界点，投入巨量资源做预练习，也或许达不到预期收益。”洪锐表明。

背面很重要的原因，在于“OpenAI技能演进的问题，GPT-3.5的才干很震慑，GPT-4的才干有进步，可是从2023年年中到2024年，全体的基座模型才干的晋级达不到2023年的作用，再多的进步在CoT和Agent侧。”王为如此说道。

根底模型才干晋级放缓的一起，预练习的本钱也十分昂扬。

此前零一万物创始人兼CEO李开复所言，一次预练习本钱约三四百万美元。这关于大多数中小企业而言，无疑是一项高额本钱投入，“创业公司的生存之道，是要考虑怎么样去善用每一块钱，而不是弄更多GPU来烧。”

因而，跟着大模型参数越来越大，越来越多的企业无法承当大模型练习本钱，只能根据现已练习好的模型进行使用或许微调。“乃至可以说，当大模型参数到达必定程度后，大部分企业连微调才干都不具有。”洪锐说道。

有相关数据核算，2024年下半年，在经过存案的大模型中，有挨近50%转向了AI使用。

大模型从预练习走向推理使用，无疑也带来了算力商场需求的分解。洪锐以为：“大模型预练习的核算中心和算力需求，以及推理使用的算力需求，其完结已是两条赛道了。”

从大模型预练习视点来说，其所需求的算力与模型参数量、练习数据量成正比，算力集群规划的全体要求是：百亿参数用百卡，千亿参数用千卡，万亿参数用万卡。

别的，大模型预练习的一个重要特征，便是不能中止，一旦中止一切练习都需求从CheckPoint重头开端。

“上一年至今，国内引进了许多智算设备，但均匀毛病率却在10%-20%左右，如此高的毛病率导致大模型练习每三小时就要断一次。”刘淼说道，“一个千卡集群，根本上20天就要断一次。”

一起，为了支撑人工智能走向Agent年代乃至未来的通用人工智能，需求不断扩展算力集群，从千卡集群迈向万卡集群乃至十万卡，“马斯克是个牛人，规划了孟菲斯十万卡集群，首个1.9万卡，从装置到点亮，只花了19天，其杂乱程度要远远高呈现有的项目。”刘淼说道。

（马斯克此前在X上宣告启用10万卡规划的孟菲斯超级集群）

现在国内为了满意更高参数大模型的练习，也都在活跃投建万卡算力池，但“咱们会发现，算力供货商的客户其实都会集在头部的几个企业，且会要求这些企业签定长时刻的算力租借协议，不论你是否真的需求这些算力。”我国电信大模型首席专家、大模型团队负责人刘敬谦如此说道。

不过，洪锐以为；“未来全球真实可以有实力做预练习的玩家不超越50家，且智算集群规划到了万卡、十万卡后，有才干做集群运维毛病扫除和功能调优的玩家也会越来越少。”

现阶段，现已有许多中小企业从大模型的预练习转向了AI推理使用，且“许多的AI推理使用，往往是短时刻、短期间的潮汐式使用。”刘敬谦说道。但布置在实践终端场景中时，会需求许多服务器进行并行网络核算，推理本钱会突然进步。

“原因是推迟比较高，大模型答复一个问题需求经过深层次推理考虑，这段时刻大模型一直在进行核算，这也意味着几十秒内这台机器的核算资源被独占。假如拓宽至上百台服务器，则推理本钱很难被掩盖。”趋镜科技CEO艾智远对光锥智能称。

因而，相较于需求大规划算力的AI（大模型）练习场景，AI推理对算力功能要求没有AI练习苛刻，首要是满意低功耗和实时处理的需求。“练习会集于电力高地，推理则要接近用户。”华为公司副总裁、ISP与互联网系统部总裁岳坤说道，推理算力的延时要在5-10毫秒范围内，而且需求高冗余规划，完结“两地三中心”建造。

以我国电信为例，其现在已在北京、上海、广州、宁夏等地树立万卡资源池，为了支撑职业模型开展，也在浙江、江苏等七个当地树立千卡资源池。一起，为了确保AI推理使用的低延时在10毫秒圈子里，我国电信也在多区域建造边端推理算力，逐步构成全国“2+3+7”算力布局。

2024年，被称作AI使用落地元年，但实践上，AI推理使用商场并未如预期中迎来迸发。首要原因在于，“现在职业中没有呈现一款可以在企业中大规划铺开的使用，究竟大模型自身技能才干还有缺点，根底模型不行强，存在错觉、随机性等问题。”洪锐说道。

因为AI使用遍及没有迸发，推理的算力添加也呈现了阻滞。不过，许多从业者仍然达观——他们判别，智能算力仍会是“长时刻缺少”，跟着AI使用的逐步浸透，推理算力需求的添加是个确认趋势。

一位芯片企业人士对光锥智能表明，AI推理其实是在不断测验寻求最佳解，Agent（智能体）比一般的LLM（大言语模型）所耗费的Token更多，因为其不断地在进行调查、规划和履行，“o1是模型内部做测验，Agent是模型外部做测验。”

因而，“预估下一年会有许多AI推理算力需求迸发出来。”刘敬谦说道，“咱们也树立了许多的轻型智算集群处理计划和整个边端推理处理计划。”

王为也表明；“假如算力池中卡量不大的状况下，针对预练习的集群算力很难租借。推理商场所需求练习卡量并不多，且整个商场还在安稳添加，中小互联网企业需求量在继续添加。”

不过现阶段，练习算力仍占有干流。据IDC、浪潮信息联合发布的《2023-2024年我国人工智能核算力开展评价陈述》，2023年国内AI服务器作业负载中练习：推理的占比约为6：4。

2024年8月，英伟达办理层在2024年二季度财报电话会中表明，曩昔四个季度中，推理算力占英伟达数据中心收入约为40%。在未来，推理算力的收入将继续进步。12月25日，英伟达宣告推出两款为满意推理大模型功能需求的GPU GB300和B300。

无疑，大模型从预练习走向推理使用，带动了算力商场需求的分解。从整个算力商场来说，当时智算中心还处于开展初期，根底设施建造并不完善。因而，大型预练习玩家或许大型企业，会更倾向于自己囤积显卡。而针对AI推理使用赛道，智算中心供应设备租借时，大部分中小客户会更倾向于零租，且会更重视性价比。

未来，跟着AI使用浸透率不断进步，推理算力耗费量还会继续进步。依照IDC猜测成果，2027年推理算力在智能算力大盘中的占比乃至会超越70%。

而怎么经过进步核算功率，来下降推理布置本钱，则成为了AI推理使用算力商场开展的要害。

不盲目推卡，怎么进步算力使用率？

全体来说，自2021年正式发动“东数西算”建造以来，我国商场并不缺底层算力资源，乃至跟着大模型技能开展和算力需求的添加，算力商场中许多购买基建的热潮，还会继续一两年时刻。

但这些底层算力资源却有一个共性，即四处涣散，且算力规划小。刘敬谦表明：“每个当地或许只要100台或200台左右算力，远远不可以满意大模型算力需求。”

别的，更为重要的是，当时算力的核算功率并不高。

有音讯显现，即使是OpenAI，在GPT-4的练习中，算力使用率也只要32%-36%，大模型练习的算力有用使用率缺少50%。“我国算力的使用率只要30%。”我国工程院院士邬贺铨坦言。

原因在于，大模型练习周期内，GPU卡并不能随时完结高资源使用，在一些练习任务比较小的阶段，还会有资源搁置状况。在模型布置阶段，因为事务动摇和需求猜测不精确，许多服务器往往也会处于待机或低负载状况。

“云核算年代的CPU服务器全体开展现已十分老练，通用核算的云服务可用性要求是99.5%～99.9%，但大规划GPU集群十分难做到。”洪锐表明。

这背面，还在于GPU全体硬件开展以及整个软件生态的不充足。软件界说硬件，也正逐步成为智能算力年代开展的要害。

因而，在智能算力江湖中，环绕智能算力根底设施建造，整合社会算力搁置资源，并经过软件算法等方法进步算力核算功率，各类玩家凭仗自己的中心优势入局，并圈地跑马。

这些玩家大致可以分为三类：

一类是大型国资央企，比方我国电信，根据其央企身份可以更好的满意国资、央企的算力需求。

一方面，我国电信自己构建了千卡、万卡和十万卡算力资源池。另一方面，经过息壤·智算一体化渠道，我国电信也正在活跃整合社会算力搁置资源，可完结跨服务商、跨地域、夸架构的一致办理，一致调度，进步算力资源的全体使用率。

“咱们先做的是国资央企的智算调度渠道，经过将400多个社会不同搁置算力资源整合至同一个渠道，然后衔接国资央企的算力需求，然后处理算力供需不平衡问题。”刘敬谦说道。

一类是以互联网公司为主的云厂商，包含阿里云、百度智能云、火山引擎等，这些云厂商在底层根底设施架构上正活跃从CPU云转型至GPU云，并构成以GPU云为中心的全栈技能才干。

“下一个十年，核算范式将从云原生，进入到AI云原生的新年代。”火山引擎总裁谭待此前说道，AI云原生，将以GPU为中心从头来优化核算、存储与网络架构，GPU可以直接拜访存储和数据库，来明显的下降IO推迟。

从底层根底设施来看，智算中心的建造往往并不是以单一品牌GPU显卡为主，更多的或许是英伟达+国产GPU显卡，乃至会存在经过CPU、GPU、FPGA（可编程芯片）、ASIC（为特定场景规划的芯片）等多种不同类型的核算单元协同作业的异构算力状况，以满意不同场景下的核算需求，完结核算效能的最大化。

因而，云厂商们也针对“多芯混训”的才干，进行了要点晋级。比方本年9月，百度智能云将百舸AI异构核算渠道全面晋级至4.0版别，完结了在万卡规划集群上95%的多芯混合练习效能。

而在底层根底设施之上，影响大模型练习和推理使用布置的，除了GPU显卡功能之外，还与网络、存储产品、数据库等软件东西链渠道休戚相关，而处理速度的进步，往往需求多个产品一起加快完结。

当然，除云大厂外，还有一批中小云厂商以自己的差异化视角切入到算力职业中，如云轴科技——根据渠道才干，做算力资源的调度和办理。

王为坦言，“之前GPU在事务系统架构中还仅仅附件，后续才逐步成为独自的类别。”

本年8月份，云轴科技发布了新一代AI Infra根底设施ZStack AIOS渠道智塔，这一渠道首要以AI企业级使用为中心，从“算力调度、AI大模型训推、AI使用服务开发”三个方向协助企业客户进行大模型新使用的落地布置。

“咱们会经过渠道统核算力详细的使用状况、对算力进行运维，一起在GPU显卡有限的场景下，想要进步算力使用率，也会为客户切分算力。”王为说道。

此外，在运营商场景中，算力的资源池比较多，“咱们也会跟客户进行协作，协助其进行资源池的运营、核算、一致运营办理等。”王为表明。

另一类玩家，是根据算法进步算力核算功率的创业公司，如图灵新智算、趋镜科技、硅基活动等。这些新玩家，归纳实力远弱于云大厂们，但经过单点技能包围，也逐步在职业中占有一席之地。

“最开端咱们是智算集群出产制作服务商，到衔接阶段，则是算力运营服务商，未来成为智能数据和使用服务商，这三个人物不断演化。”刘淼说道，“所以咱们定位是，新一代算力运营服务厂商。”

图灵新智算未来期望，树立独立的整合算力搁置资源的渠道，可以进行算力的调度、租借和服务。“咱们打造一个资源渠道，将搁置算力接入渠道，类似于前期的淘宝渠道。”刘淼说道，搁置算力首要对接的是各区域智算中心。

与之比较，趋境科技、硅基活动等企业，更聚集在AI推理使用商场中，并更重视以算法的才干，来进步算力的功率，下降大模型推理使用的本钱，只不过各家计划的切入点并不相同。

比方趋境科技为了处理大模型不或许三角，及作用、功率和本钱之间的平衡，提出了全系统异构协同推理和针对AI推理使用的RAG（查找增强）场景，选用“以存换算”的方法开释存力作为关于算力的弥补两大立异技能战略，将推理本钱下降 10 倍，呼应推迟下降 20 倍。

而面向未来，除了继续优化衔接底层算力资源和上层使用的中心AI infra层外，“咱们更期望的一种形式是，咱们搭的是一个架子，房顶上的这些使用是由咱们来开发，然后使用咱们架子可以更好的下降本钱。”趋境科技创始人兼CEO艾智远如此说道。

不难看出，趋境科技并不仅仅想做算法优化处理计划供货商，还想做AI大模型落地使用服务商。

别的，当时职业中针对大模型算力优化计划，往往会优先考虑进步GPU的使用率。艾智远表明，现阶段对GPU的使用率现已到达50%以上，想要在进步GPU的使用率，难度十分大。

“GPU使用率还存在很大进步空间，但十分难，涉及到芯片、显存、卡间互联、多机通讯和软件调度等技能，这并不是一家公司或一门技能可以处理，而是需求整个工业链上下游一起推进。”洪锐也如此对光锥智能说道。

洪锐以为，现在职业缺少真实可以从技能上将超大规划智算集群组网运维起来的才干，一起软件层并未开展老练，“算力就在这，但假如软件优化没做好，或推理引擎和负载均衡等没做好，对算力功能的影响也十分大。”

纵观这三大类玩家，不论是我国电信等运营商，仍是云厂商们，亦或是新入局的玩家，各自切入算力商场的方法不尽相同，但都期望在这一场全球算力的盛宴中分得一杯羹。

事实上，现阶段比较大模型服务，这确实也是确认性更强的生意。

算力租借同质化，精细化、专业化运营服务为王

从挣钱的安稳度上，淘金者很难比得上卖水人。

AI大模型现已狂奔两年，但整个工业链中，只要以英伟达为首的算力服务商真实赚到了钱，在收入和股市上都名利双收。

而在2024年，算力的盈利在逐步从英伟达延伸到泛算力赛道上，服务器厂商、云厂商，乃至倒卖、租借各种卡的玩家，也获得了必定赢利报答。当然，赢利远远小于英伟达。

“2024年全体上没亏钱，可是也没赚到许多钱。”王为坦言，“AI（使用）现阶段还没有起量，跟AI相关量最大的仍是算力层，算力使用营收相对较好。”

关于2025年的开展预期，王为也直言并未做好彻底的猜测，“下一年真的有点不好说，但远期来看，未来3年AI使用将会有很大的增量开展。”

但以各地智算中心的开展状况来看，却鲜少可以完结营收，根本方针都是掩盖运营本钱。

据智伯乐科技CEO岳远航表明，经测算后发现，一个智算中心纵使设备租借率涨到60%，至少还要花上7年以上的时刻才干回本。

现在智算中心对外首要以供应算力租借为首要营收方法，但“设备租借十分同质化，真实缺失的是一种端到端的服务才干。”洪锐对光锥智能说道。

所谓的端到端服务才干，即除硬件之外，智算中心还要可以支撑企业从大模型使用开发，到大模型的迭代晋级，再到后续大模型布置的全栈式服务。而现在可以真实完结这种端到端服务的厂商，相对比较少。

不过，从全体数据来看，我国智算服务商场开展前景越来越达观。据IDC最新发布《我国智算服务商场（2024上半年）盯梢》陈述显现，2024年上半年我国智算服务全体商场同比添加79.6%，商场规划到达146.1亿元人民币。“智算服务商场以远超预期的增速在高速成长。从智算服务的添加态势来看，智算服务商场在未来五年内仍将坚持高速成长。”IDC我国企业级研讨部研讨司理杨洋表明。

洪锐也表明，在阅历张狂囤积卡资源的智算1.0年代，到智算中心粗豪扩张，供需失衡的智算2.0年代后，智算3.0年代的结局，必定是专业化、精细化运营的算力服务。

究竟，当预练习和推理分红两个赛道后，AI推理使用商场会逐步开展起来，技能栈也会逐步老练，服务才干逐步完善，商场也将进一步整合零星搁置算力资源，完结算力使用率最大化。

不过，当时我国算力商场也仍面临着巨大应战。在高端GPU芯片缺少的一起，“现在国内GPU商场过于碎片化，且各家GPU都有独立的生态系统，全体的生态存在分裂。”王为如此说道，这也就导致国内整个GPU生态的适配本钱十分高。

但就像刘淼所言，智算的20年长周期才刚刚开端，现在或许仅仅仅仅第一年。而在完结AGI这条路途上，也充满着不确认性，这关于很多玩家来说，无疑充满着更多的机会和应战。

告发/反应