刚入门 AI 开发,概念太多有点懵。Token 是分词,Embedding 是向量,Prompt 是提示词。但这三者在一次大模型调用里到底是什么顺序?Token 变成 Embedding 然后 Prompt 是包含很多 Token 的?还是反过来?求大佬给个清晰的链路。
一次大模型调用的完整链路大概是这样的。你写了一段 Prompt 本质就是一段文本,这段文本先经过 Tokenizer 被切分成一系列 Token,每个 Token 被映射到一个整数 ID。然后每个 Token ID 通过 Embedding 层转换成一个高维向量比如 4096 维。这些向量序列进入 Transformer 的注意力层做计算,最后输出端再把向量映射回 Token ID 然后解码成文字。所以顺序是 Prompt(文本)→ Token(分词)→ Embedding(向量化)→ Transformer 计算 → 输出 Token → 解码成文字。Prompt 包含多个 Token 是对的。
打个比方,Prompt 是你写的一封信,Tokenizer 是把信拆成一个一个字,Embedding 是给每个字贴上一个多维标签让机器能理解。整个过程就是人话→拆分→数字化→运算→数字化→拼回来→人话。
推荐 Jay Alammar 的图解 Transformer 系列博客,看完就通了
attention is all you need
明白了,Prompt → Token → Embedding 是输入阶段,计算完再反过来。@daxiong_ai 这个比方好懂
Prompt是人话,Token是切片,Embedding是坐标,这样理解没毛病吧
token是输入输出的单位,embedding是向量表示,prompt是指令模板
这么一说清楚多了,之前一直以为这仨是同一个东西
Token最小单位,Embedding是向量,Prompt是输入壳,递进关系
简单说就是文字变Token变向量然后模型算,反过来再变文字
你这也太简化了吧,Attention机制都没提
Token是基础单位,Prompt是输入,Embedding是向量化表示
信件和贴标签这个比方真的清晰,一下就懂了
Token是最小单位,Embedding是向量化,Prompt是输入,三者是递进关系
图解Transformer那个推荐的博客确实值得看
把这些概念串起来理解比孤立学习有效多了