聚热点 juredian

陈根:训练ChatGPT,难以想象的昂贵

文/陈根

       没有算力支持的ChatGPT都是讲故事。ChatGPT的核心三要素是:数据、模型、算力,而算力是训练的基础条件。

       对于一些企业而言,或许可以鼓吹自身有所谓的数据优势,不论这些数据是搞质量数据,还是垃圾数据,但对于炒作概念而言,包装一下也能糊弄。而至于模型层面,也可以鼓吹包装一下,只要有点人工智能方面的研究人员,也能倒腾出一个四不像的模型出来。

       但是训练的算力炒作不了,也包装不了。可以说,目前在国内只有屈指可数的几家具有强大云服务的企业又这个训练的基础,其他企业都不具备。不仅不具备,如果这些没有强大的云服务的公司要进行这种大模型训练,很快就会破产,因为成本实在太高。

       GPT-3训练一次的成本约为140万美元,对于一些更大的LLM模型训练成本介于200万美元至1200万美元之间。根据国盛证券估算,今年1月平均每天约有1300万独立访客使用ChatGPT,对应芯片需求为3万多片英伟达A100GPU,初始投入成本约为8亿美元,每日电费在5万美元左右。

       单一从ChatGPT训练的成本层面来看,国内号称AI四小龙的商汤科技、旷视科技、依图科技与云从科技,都不具备训练的资本实力。在营收微薄,以及巨额亏损的情况下,谈训练ChatGPT就是一场玩笑。

本站资源来自互联网,仅供学习,如有侵权,请通知删除,敬请谅解!
搜索建议:难以想象  难以想象词条  昂贵  昂贵词条  训练  训练词条  ChatGPT  ChatGPT词条  
热文

 买房子一楼好吗

买房子选一楼好不好?一楼的房子有优点有缺点,优点是价低、方便,特别是有老人小孩的家庭,但是噪音、潮湿、阴暗等缺点也是有目共睹的,其实如果掌握了购买底层住宅的正确...(展开)

热文

 主持人大赛金句集锦?

央视主持人大赛金句集锦分享如下01老人笑了,你就孝了。——郭嘉宁02往往是那些离我们生活很远的东西,离心的距离却很近,比如故乡。——高凡03站在这个舞台上,还需...(展开)