openai 是一个很好的工具,用来写商品标题、商品介绍、广告文案、推广邮件,确实很方便,已经是工作之中不可缺少的一个工具,现在的竞争就是看谁的工具更加先进。
在和同事交流的时候,发现大家对 openai 这里面两个最重要的概念(token, temperatuere)理解都不一样,查了一下手册,感觉说的很清晰的。
token
openai 的 token 与 区块链上的 token 完全不一样,他应该是语义不可再分的最小单位。
I have an orange cat named Butterscotch.
I
、have
、 an
、orange
、cat
、named
每一个都是一个 token,这里有 6
个 token。Butterscotch
就会拆分成 But
、ters
、cot
、ch
四个 token。
.
标点符号也是一个 token。
也就是复杂的会拆分,简单的就不会再拆分了,文档里面也提到了,很多 token 以空格
开始,如
“ hello” and “ bye”