大模型推理到底费多少电?Token 和电力什么关系

H100满载10kW这数字我第一次算也被吓到

这么一算全球每天几十亿次查询的碳排放确实恐怖

一次GPT-4查询大约消耗一瓶水和一颗灯泡亮一分钟的电

vLLM优化效果真明显,我司用了也省一半