做前端的最近开始搞 AI,被 Token 这个词搞晕了。前端有 JWT Token、CSRF Token、OAuth Token,AI 里又有 Token,名字一样但感觉完全不是一个东西?还是说底层有什么关联?
完全不是一个东西,只是恰好都叫 Token。前端那些 Token 本质是认证凭证,JWT 是 JSON Web Token 用来做用户身份认证的,CSRF Token 是防跨站请求伪造的随机串,OAuth Token 是授权令牌。核心功能是证明你是谁或者防止伪造请求。AI 里的 Token 是文本分词的最小单位,跟认证没有半毛钱关系。唯一的共同点就是英文单词 token 的本意是「标记」「记号」,两个领域各取了不同的引申义。
就跟 Java 和 JavaScript 的关系一样,名字像但完全不沾边
好吧原来真的毫无关联…这名字起的也太容易混了
两个Token八竿子打不着,前端JWT是认证凭证,AI是语义单元
JWT是身份凭证的token,AI的token是文本切片,不是一个概念
同名不同义的典型例子,面试被问过这个
完全不是一回事,一个是NLP分词单元,一个是认证令牌,就是撞名了
名字一样而已,本质完全不同,前端那个是身份凭证
我跟产品经理解释了半天他以为是同一个东西
完全不是一回事,就跟苹果公司和苹果水果的关系一样
完全不是一回事,就跟苹果公司和苹果水果的关系一样
这两个Token撞名真够离谱,中英文都没区分开
中文都翻译成令牌但完全是不同领域的东西
名字一样但领域完全不同,AI的Token是语言单位,前端的Token是认证凭证
面试被问这个问题答错的人估计不少