openai 的 token 与 temperature

openai 是一个很好的工具,用来写商品标题、商品介绍、广告文案、推广邮件,确实很方便,已经是工作之中不可缺少的一个工具,现在的竞争就是看谁的工具更加先进。

在和同事交流的时候,发现大家对 openai 这里面两个最重要的概念(token, temperatuere)理解都不一样,查了一下手册,感觉说的很清晰的。

token

openai 的 token 与 区块链上的 token 完全不一样,他应该是语义不可再分的最小单位。

I have an orange cat named Butterscotch.

Ihaveanorangecatnamed 每一个都是一个 token,这里有 6 个 token。
Butterscotch 就会拆分成 Butterscotch 四个 token。

. 标点符号也是一个 token。

也就是复杂的会拆分,简单的就不会再拆分了,文档里面也提到了,很多 token 以空格开始,如

“ hello” and “ bye”

openai token 说明

openai token 提取

Read more

零信任介绍与相关资料推荐

一般公司都会存在两个网络,一个是公司的内网,一个是外网,在办公室可以直接连接内网,比如内网的 OA 或者 MIS 系统之类的,这些系统是只能员工访问的,办公室外的人是无法访问的,但是遇到一个问题,比如员工去外面出差,或者在家办公,这个时候要连接内网的 OA 或者 MIS 之类的怎么办呢?传统的方法是通过 VPN,相信没几个人想用 VPN,VPN 会遇到稳定性等各种问题,所以有一些公司开始搞零信任方案。

什么是零信任

VPN 解决方案是基于网络的信任,比如你来到了公司接入网络,我就相信你是内部员工,你通过 VPN 验证后登录,也对你完全信任,零信任的方案正好相反,我对你的每一个行为都是零信任,也就是完全不信任,你的每一个行为我都要验证。

零信任是完全不信任网络,而是基于设备、用户、动态访问控制和行为感知策略。零信任需要一个强大的身份服务来确保每个用户的访问,一旦身份验证通过,并能证明自己设备的完整性,则赋予适当权限访问资源。所以这里有四个元素:验证用户、验证设备、权限控制、自学习和自适应。

最主要的特征是不在基于网络 的信任,而是基于设备 行为 的验证。

零信任资料汇总

Google BeyondCorp 相关论文

最早是 Google 开始实践零信任方案,他写了 5 篇论文,要想了解 Google 的零信任方案是怎么设计并实施的,这 5 篇论文一定要读。

BeyondCorp: A New Approach to Enterprise Security – Google Research

BeyondCorp: Design to Deployment at Google – Google Research

BeyondCorp: The Access Proxy – Google Research

Migrating to BeyondCorp: Maintaining Productivity While Improving Security – Google Research

BeyondCorp: The User Experience (google.com)

Forrester Build Security Into Your Network’s DNA: The Zero Trust Network Architecture

Read more

用 pyannote.audio 实现说话人识别

如果用 Azure 的语音识别服务,他有一个说话人识别的功能,会标注这一句话是哪个人说的,特别适合在采访或者对话之类的场景,微软的确实好用,但是贵,找到了一个开源的解决方案,用 pyannote.audio 来解决,我自己对比了一下和微软的 … Read more

openai 开放其语音识别模型 whisper

openai 开放了其语音识别模型 GitHub – openai/whisper hisper是一个通用的语音识别模型。它是在一个大型的多样化音频数据集上训练出来的,也是一个多任务模型,可以进行多语言语音识别,以及语音翻译和语 … Read more

图像视频修复方案

Real-ESRGAN Real-ESRGAN 的目标是开发出实用的图像/视频修复算法,他是一个开源的产品, Real-ESRGAN 需要 GPU 的支持,如果机器没有 GPU ,好像玩不起来。 在 replicate 有效果测试,有人用他 … Read more