“吞金兽”ChatGPT背后:AI算力缺不缺

来源: 小象云 2023年02月15日

近两个月来,全世界的网友们都在兴致勃勃的“调教”ChatGPT,小编的朋友圈一直被分享ChatGPT,但第一个受不了的却是ChatGPT的所有者。

人工智能

为了更长远的发展,OpenAI宣布了付费订阅版ChatGPT Plus,按月收费。

虽然OpenAI表示,将持续提供免费版,并且收费项目也将更好的“帮助尽可能多的人使用免费服务”。但是《纽约时报》也指出“在高峰时段,免费版访问人数将受到限制。”

显然,收费会是ChatGPT这类AI服务长久发展的必然选择。

究其根源,在于ChatGPT“越来越聪明”的背后,需要庞大的费用支撑。其中,算力成本是最重要的,也是最不能偷工减料的一部分。

那么,ChatGPT到底需要多少算力来支撑?

01 “吞金兽”ChatGPT的算力消耗

ChatGPT对算力的消耗可以分为三个主要场景:

一是模型预训练过程,这是ChatGPT消耗算力的最主要场景。

ChatGPT采用预训练语言模型,在Transformer的模型架构下,语言预训练过程可以根据上下文一次处理所有输入,实现大规模并行计算。

通过堆叠多个解码模块,模型的层数规模也会随着提升,可承载的参数量同步增长。与之相对应的,模型训练所需要消耗的算力也就越大。

据OpenAI团队发表于2020年的论文《Language Models are Few-Shot Learners》,训练一次1746亿参数的 GPT-3模型需要的算力约为3640 PFlop/s-day。

即假如每秒计算一千万亿次,也需要计算3640天。

考虑到ChatGPT训练所用的模型是基于GPT-3.5模型微调而来,GPT-3.5模型增加了参数量和训练样本量,包含超过1746亿个参数,那么预估训练一次ChatGPT所需算力至少需要约3640 PFlop/s-day的算力。

东吴证券研报分析认为,ChatGPT的优化主要来自模型的增大,以及因此带来的算力增加。

GPT、GPT-2和GPT-3的参数量从1.17亿增加到1750亿,预训练数据量从5GB增加到45TB,其中GPT-3训练单次的成本就高达460万美元。

同时,模型开发过程很难一次取得成功,整个开发阶段可能需要进行多次预训练过程,因此对于算力的需求是持续的。

此外,从基础大模型向特定场景迁移的过程,如基于ChatGPT构建医疗AI大模型,需要使用特定领域数据进行模型二次训练,同样会增加训练算力需求。

二是模型迭代过程。

从模型迭代的角度来看,ChatGPT模型并不是静态的,而是需要不断进行模型调优,以确保模型处于最佳应用状态。

这一过程中,一方面是需要开发者对模型参数进行调整,确保输出内容不是有害和失真的;另一方面,需要基于用户反馈和PPO策略,对模型进行大规模或小规模的迭代训练。

因此,模型调优同样会为ChatGPT带来算力成本,具体算力需求和成本金额取决于模型的迭代速度。

三是日常运营过程。

在日常运营过程中,用户交互带来的数据处理需求同样也是一笔不小的算力开支。考虑到ChatGPT面向全球大众用户,用的人越多,带宽消耗越大,服务器成本只会更高。

据SimilarWeb数据,2023年1月ChatGPT官网总访问量为6.16亿次。

据Fortune杂志,每次用户与ChatGPT互动,产生的算力云服务成本约0.01美元。

基于此,ChatGPT单月运营对应成本约616万美元。

据上文,我们已知训练一次1746亿参数的GPT-3模型需要3640 PFlop/s-day的算力及460万美元的成本,假设单位算力成本固定,测算ChatGPT单月运营所需算力约 4874.4PFlop/s-day。

直观对比,如果使用总投资30.2亿、算力500P的数据中心来支撑ChatGPT的运行,至少需要7-8个这样的数据中心,基础设施的投入都是以百亿记的。

当然,基础设施可以通过租用的方式来解决,但算力需求带来的本压力依然巨大。

随着国内外厂商相继入局研发类似大模型,将进一步加大对算力的需求。

02 AI算力霸权时代的到来

模型算力需求增速超越芯片性能增速,算力霸权时代或将到来。

据OpenAI测算,自2012年以来,全球头部AI模型训练算力需求3-4个月翻一番,每年头部训练模型所需算力增长幅度高达10倍。

而摩尔定律认为,芯片计算性能大约每18-24个月翻一番。

数据显示,从2012年到2018年,训练AI所耗费的算力增长了30万倍,而摩尔定律在相同时间只有7倍的增长。

因此,AI训练模型算力需求增长与芯片计算性能增长之间的不匹配,或将带来对算力基础设施供给需求的快速增长。

考虑到算力对于AI模型训练效果的关键性作用,拥有更丰富算力资源的模型开发者,或将能够训练出更优秀的AI模型。

所以现在有一种说法:AI进入了新的算力霸权时代,大家要用千倍、万倍的算力才能训练出世界上最好的算法。

那么无论是谁参与进来,都需要回答一个问题:算力成本怎么解决?

在中国,这个答案就藏在国家如火如荼推进的“东数西算”工程里。

数据显示,我国算力产业规模快速增长,近五年平均增速超过30%,算力规模排名全球第二。

但在发展的过程中仍面临人均算力尚低、算力随需处理的需求难以满足、算力应用广度和深度不够等问题。

因此,国家“东数西算”工程通过构建全国一体化的新型算力网络,优化数据中心建设布局,将东部算力需求有序引导到西部,利用西部的资源优势,为数字中国的发展提供低碳、低成本的优质算力。

对于AI产业来说,“东数西算”也可以成为“东数西训”,即庞大的训练算力需求完全可以转移到算力成本更低,同时规模更具优势的西部数据中心中进行。

对应的,这些承载智能训练的数据中心本身,也将为更好的适应智能训练需求进行针对性改造,比如在能源供给、散热结构、机柜形态等方面更适合使用了大量智能训练芯片的服务器等。

这也为数据中心未来发展提出了新的思路。

数据中心建设将告别千篇一律的通用时代,进入以场景为指引、以应用为导向的“专用”时代,“东数西训”、“东数西渲”、“东数西存”等应用将成为主流方向。

目前,我国算力产业仍在高速增长。

据IDC与浪潮信息联合发布的《2022-2023中国人工智能计算力发展评估报告》显示,相较于2020年我国135EFLOPS的算力总规模,2022年我国智能算力规模近乎翻倍,达到268EFLOPS,超过通用算力规模;预计未来5年我国智能算力规模的年复合增长率将达52.3%。

未来,我国还应在算力方面进一步加强超算中心、智算中心和边缘数据中心建设,不断满足政府、行业、企业甚至个人等多样化的智能场景需要,以算力赋能智慧城市、智慧医疗、智慧农业等千行百业的高质量发展。

不仅如此,大力加强自主可控高端芯片生产能力,争取在量子芯片领域实现换道超车,加强算力人才培养,同样是保持我国AI算力领先的重要手段。

相关TAG标签:ChatGPT openai

为你推荐
ZoomInfo:打造高效的销售策略的利器

ZoomInfo:打造高效的销售策略的利器

  在当今竞争激烈的市场中,企业需要采用更加高效的销售策略,以提高销售业绩和市场份额。ZoomInfo是一款企业数据分析工具,可以帮助企业打造高效的销售策略。  首先,ZoomInfo提供的企业数据可...

2023-06-12

“吞金兽”ChatGPT背后:AI算力缺不缺

“吞金兽”ChatGPT背后:AI算力缺不缺

近两个月来,全世界的网友们都在兴致勃勃的“调教”ChatGPT,小编的朋友圈一直被分享ChatGPT,但第一个受不了的却是ChatGPT的所有者。为了更长远的发展,OpenAI宣布了付费订阅版Chat...

2023-02-15

2023展望:数字化未来在于消除人工智能枷锁

2023展望:数字化未来在于消除人工智能枷锁

人工智能终于证明了几十年来一直围绕着它的炒作是正确的。虽然人工智能还不是人类的救世主,但它已经从概念发展到现实,实际应用正在让我们的世界变得更美好。然而,许多人工智能的神奇壮举都是隐藏的,只有当你透过...

2022-12-29

人工智能在视频会议中的应用

人工智能在视频会议中的应用

当下,企业比以往任何时候都更加依赖人工智能,而人工智能也确实在许多方面帮助企业开展业务。其实一项就是在视频会议中的应用。那,人工智能在视频会议中应用如何呢?视频会议利用人工智能改善沟通毫无疑问,所有视...

2022-12-27

如何利用边缘AI的优势?

如何利用边缘AI的优势?

简单来说,边缘人工智能指的是在现场设备中部署人工智能应用。无论企业是什么领域,从制造工厂地板上的工人,到战场上的士兵,再到在医院房间里诊断患者的医生,都可以使用边缘人工智能。边缘AI应用是由数据所在网...

2022-12-26

如何利用人工智能技术提高用户参与度,科学高效快速成单?

如何利用人工智能技术提高用户参与度,科学高效快速成单?

互联网时代,企业会通过各种各样的营销手段来吸引用户,但究竟该如何有效地保持并提升用户参与度,对于一些企业来说仍是难题。其实,这个问题的答案很简单,那就是深入了解用户。但是,深入了解用户并不是一件简单的...

2022-11-10

小象云优选产品

视频会议 小象云臻选腾讯会议、微软teams、webex、中目、51会议直播 、罗技、思科、SAAS等领域的数字化产品,帮助企业选择适合的产品,助力数字化企业成功。
直播服务 提供一站式视频直播服务,为企业提供会议直播、教育直播、医疗直播、企业培训直播、金融直播、企业活动直播、企业大会直播等全场景解决方案。
线上签约 电子签名解决方案,用户可以在移动端的应用程序或使用移动端的浏览器签批和推动业务流程,为电子文档添加电子签名。
内部提效 帮助您的团队更高效地完成任务,提升工作效率,提供全面的解决方案,包括流程优化、自动化工具和培训。
服务数字化 为中小企业提供营销、销售、运营和服务全流程解决方案。
网络安全 新一代数字化办公 IT 基础设施,一个平台融合身份与权限管理、远程访问连接、办公网络准入、终端资产管理与办公安全能力,同时提升 IT 效率,帮助员工随时随地、安全高效办公。
公有云 云服务器提供安全可靠的弹性计算服务。 您可以实时扩展或缩减计算资源,适应变化的业务需求,并只需按实际使用的资源计费。使用 CVM 可以极大降低您的软硬件采购成本,简化 IT 运维工作。
人工智能 小象云臻选腾讯会议、微软teams、webex、中目、51会议直播、罗技、思科、SAAS等领域的数字化产品,帮助企业选择适合的产品,助力数字化企业成功。
出海套件 小象云臻选腾讯会议、微软teams、webex、中目、51会议直播 、罗技、思科、SAAS等领域的数字化产品,帮助企业选择适合的产品,助力数字化企业成功。

5000款臻选科技产品,期待您的免费试用!

立即试用