openai 的 token 与 temperature

openai 是一个很好的工具,用来写商品标题、商品介绍、广告文案、推广邮件,确实很方便,已经是工作之中不可缺少的一个工具,现在的竞争就是看谁的工具更加先进。

在和同事交流的时候,发现大家对 openai 这里面两个最重要的概念(token, temperatuere)理解都不一样,查了一下手册,感觉说的很清晰的。

token

openai 的 token 与 区块链上的 token 完全不一样,他应该是语义不可再分的最小单位。

I have an orange cat named Butterscotch.

Ihaveanorangecatnamed 每一个都是一个 token,这里有 6 个 token。
Butterscotch 就会拆分成 Butterscotch 四个 token。

. 标点符号也是一个 token。

也就是复杂的会拆分,简单的就不会再拆分了,文档里面也提到了,很多 token 以空格开始,如

“ hello” and “ bye”

openai token 说明

openai token 提取

注意

对于英文文本,1 个token大约是 4 个字符或 0.75 个单词。要记住的一个限制是,您的输入和生成的结果不得超过模型的最大上下文长度(对于大多数模型,这是 2048 个标记,或大约 1500 个单词)。

temperature

temperature 其实就是准确性的概率,当设置为 0 时,只会返回最精准的那个候选对象,如果设置成 1,返回的对象就会不追求这么准确,而是各种可能都有。

openai temperature 理解

上面把 temperature 设置成0,每次都返回相对确定的 animal,如果设置成 1,返回的可能性就要多很多。

发表评论