最近在本机搭了一个 EdgeJev 便携包,说一下它是干什么的,以及怎么用。
EdgeJev 做的不是聊天。你给它一段话,再附上几个带类型的问题,它直接返回选项、概率和置信度。数据不出本机,不需要 API key,运行时也不装 PyTorch。模型是 ONNX INT8,普通 CPU 就能跑。项目自己公布的成绩是 4 核上单题大约 15.6 毫秒,模型体积大约 300 MB。
下载地址:
GPU版本123网盘:https://1626683.share.123pan.cn/123pan/ekeA-hUkw
CPU版本123网盘:https://1626683.share.123pan.cn/123pan/ekeA-kWqw
它把几家开源的 Jev / System One 复现收成同一条路:转成 ONNX、做 INT8 量化,再起一个和官方协议兼容的本地服务。地址是 http://127.0.0.1:8009/v1/systemone。官方 SDK 改一下 base_url 就能切到本地。
问题只有三种:
- 选择题:从几个类别里选一个,同时给出每个选项的概率
- 打分题:按从低到高的档位打分,返回分数和各档概率
- 是否题:判断一句话成不成立,返回成立概率
举个实际跑过的例子。内容是「我的信用卡被扣了两次款,麻烦退一笔。」问题是该转给账单、技术还是销售。返回的选择是 billing,概率 98.74%,置信度 0.93。换一句「打开设置页就白屏,控制台报错」,同一套选项会改判成 technical,概率 96.57%。
便携包解压就能用,自带 Python 和运行库,换一台 64 位 Windows 不用再装环境。常用的是这几个文件:
start.bat启动服务stop.bat停止status.bat看状态提问.bat在命令行里直接问
提问.bat 的用法:先输入类型,1 是选择,2 是打分,3 是是否。再贴上要判断的内容。问题说明和选项如果懒得写,直接回车,打分会默认用「坏消息 / 一般 / 好消息」。问完输入 q 退出。
examples\cases 里还有退款分流、报错分流、情绪分类、新闻分类、工单优先级这些现成例子,想看请求长什么样可以直接打开。
适合内网、不能把原文送出去、又想要稳定概率而不是一段生成文字的场景。它是分类和打分,不是事实核查,也不是聊天机器人。句子怎么写、选项怎么写,结果会跟着变。
项目地址:https://github.com/yzfly/edgejev
协议是 Apache-2.0。权重和分词器的许可归上游所有。







