跑AI到底费多少电?聊聊Token和电力的关系

看了篇文章说ChatGPT一天的耗电量相当于几万个家庭,吓了一跳。想问下:

  1. 处理token到底费多少电?
  2. 普通人用AI一天的电力消耗是多少?
  3. 以后AI越来越普及电够用吗?

纯好奇不是杠,就是想了解下AI的能源成本。


4 个赞

大致给你算算:

一张A100 GPU功耗约300-400W,满负载跑一小时约0.3-0.4度电。一张A100大概每秒能处理几千到几万个token(取决于模型大小和批处理)。

换算下来:处理100万个token大约消耗0.001-0.01度电。 看起来不多对吧?但架不住量大——OpenAI每天处理几百亿个token,这就是天文数字了。

普通个人用户一天的AI用电量: 你每天用AI聊天写东西大概消耗几万到几十万个token,折算电力不到0.01度电。可以忽略不计,还不如你手机充一次电费的。

大规模用电问题确实存在: 全球AI数据中心的总耗电量已经跟一些小国家相当了。各大公司都在投建专门的电力设施,甚至有人在搞核电给AI供电。这是行业级的挑战,但跟普通用户关系不大。


3 个赞

所以我每天跟ChatGPT聊天的碳排放还不如我早上开车上班的排气管冒的烟。搞半天个人用户层面的电力焦虑完全是多余的


2 个赞

换个角度看:AI帮你省下的时间和效率提升也是有能源价值的。你不用AI可能要亲自跑腿、打电话、翻资料,这些活动也消耗能源。

与其纠结AI费不费电,不如关注AI帮你创造了多少价值。只要投入产出比是正的,这个电就花得值。

5 个赞

这个倍数在不同模型差异很大,小模型的功耗低得多

训练比推理耗电多得多,一次训练够家用几年

算过账,跑大模型的电费真的不开玩笑

跑本地大模型显卡功耗确实高,一个月电费多了不少

一张4090跑满载一小时差不多0.5度电,一个月不少钱

显卡满载跑的话一个月电费确实不便宜

大模型推理功耗确实高,单次查询据说相当于十次搜索的电力

个人用户碳排放对比开车这视角好,规模化才需关注

100万token 0.001-0.01度电这数据合理,个人级耗电焦虑没必要