返回AI应用

EdgeJev(纯CPU运行/可GPU)断网也能跑的本地决策模型,选择题、打分、是否判断一次返回

最近在本机搭了一个 EdgeJev 便携包,说一下它是干什么的,以及怎么用。

EdgeJev(纯CPU运行/可GPU)断网也能跑的本地决策模型,选择题、打分、是否判断一次返回 - 图1

EdgeJev(纯CPU运行/可GPU)断网也能跑的本地决策模型,选择题、打分、是否判断一次返回 - 图2

EdgeJev 做的不是聊天。你给它一段话,再附上几个带类型的问题,它直接返回选项、概率和置信度。数据不出本机,不需要 API key,运行时也不装 PyTorch。模型是 ONNX INT8,普通 CPU 就能跑。项目自己公布的成绩是 4 核上单题大约 15.6 毫秒,模型体积大约 300 MB。

下载地址:

GPU版本123网盘:https://1626683.share.123pan.cn/123pan/ekeA-hUkw

CPU版本123网盘:https://1626683.share.123pan.cn/123pan/ekeA-kWqw

image.png

EdgeJev(纯CPU运行/可GPU)断网也能跑的本地决策模型,选择题、打分、是否判断一次返回 - 图4

 

它把几家开源的 Jev / System One 复现收成同一条路:转成 ONNX、做 INT8 量化,再起一个和官方协议兼容的本地服务。地址是 http://127.0.0.1:8009/v1/systemone。官方 SDK 改一下 base_url 就能切到本地。

 

问题只有三种:

  • 选择题:从几个类别里选一个,同时给出每个选项的概率
  • 打分题:按从低到高的档位打分,返回分数和各档概率
  • 是否题:判断一句话成不成立,返回成立概率

举个实际跑过的例子。内容是「我的信用卡被扣了两次款,麻烦退一笔。」问题是该转给账单、技术还是销售。返回的选择是 billing,概率 98.74%,置信度 0.93。换一句「打开设置页就白屏,控制台报错」,同一套选项会改判成 technical,概率 96.57%。

便携包解压就能用,自带 Python 和运行库,换一台 64 位 Windows 不用再装环境。常用的是这几个文件:

  • start.bat 启动服务
  • stop.bat 停止
  • status.bat 看状态
  • 提问.bat 在命令行里直接问

提问.bat 的用法:先输入类型,1 是选择,2 是打分,3 是是否。再贴上要判断的内容。问题说明和选项如果懒得写,直接回车,打分会默认用「坏消息 / 一般 / 好消息」。问完输入 q 退出。

examples\cases 里还有退款分流、报错分流、情绪分类、新闻分类、工单优先级这些现成例子,想看请求长什么样可以直接打开。

适合内网、不能把原文送出去、又想要稳定概率而不是一段生成文字的场景。它是分类和打分,不是事实核查,也不是聊天机器人。句子怎么写、选项怎么写,结果会跟着变。

项目地址:https://github.com/yzfly/edgejev
 协议是 Apache-2.0。权重和分词器的许可归上游所有。

作者信息
一起用互联网帮助更多人

本文标签:

本文链接:EdgeJev(纯CPU运行/可GPU)断网也能跑的本地决策模型,选择题、打分、是否判断一次返回 - http://www.go176.net/post-7352.html