看了篇文章说ChatGPT一天的耗电量相当于几万个家庭,吓了一跳。想问下:
- 处理token到底费多少电?
- 普通人用AI一天的电力消耗是多少?
- 以后AI越来越普及电够用吗?
纯好奇不是杠,就是想了解下AI的能源成本。
看了篇文章说ChatGPT一天的耗电量相当于几万个家庭,吓了一跳。想问下:
纯好奇不是杠,就是想了解下AI的能源成本。
大致给你算算:
一张A100 GPU功耗约300-400W,满负载跑一小时约0.3-0.4度电。一张A100大概每秒能处理几千到几万个token(取决于模型大小和批处理)。
换算下来:处理100万个token大约消耗0.001-0.01度电。 看起来不多对吧?但架不住量大——OpenAI每天处理几百亿个token,这就是天文数字了。
普通个人用户一天的AI用电量: 你每天用AI聊天写东西大概消耗几万到几十万个token,折算电力不到0.01度电。可以忽略不计,还不如你手机充一次电费的。
大规模用电问题确实存在: 全球AI数据中心的总耗电量已经跟一些小国家相当了。各大公司都在投建专门的电力设施,甚至有人在搞核电给AI供电。这是行业级的挑战,但跟普通用户关系不大。
所以我每天跟ChatGPT聊天的碳排放还不如我早上开车上班的排气管冒的烟。搞半天个人用户层面的电力焦虑完全是多余的
换个角度看:AI帮你省下的时间和效率提升也是有能源价值的。你不用AI可能要亲自跑腿、打电话、翻资料,这些活动也消耗能源。
与其纠结AI费不费电,不如关注AI帮你创造了多少价值。只要投入产出比是正的,这个电就花得值。
这个倍数在不同模型差异很大,小模型的功耗低得多
训练比推理耗电多得多,一次训练够家用几年
算过账,跑大模型的电费真的不开玩笑
跑本地大模型显卡功耗确实高,一个月电费多了不少
一张4090跑满载一小时差不多0.5度电,一个月不少钱
显卡满载跑的话一个月电费确实不便宜
大模型推理功耗确实高,单次查询据说相当于十次搜索的电力
个人用户碳排放对比开车这视角好,规模化才需关注
100万token 0.001-0.01度电这数据合理,个人级耗电焦虑没必要