AbaAba-AI本地轻量级聊天AI工具下载

源码介绍

AbaAba-AI介绍

AbaAba-AI“阿巴阿巴AI”是一款基于RWKV的本地轻量级聊天AI，无需网络完全本地运行，无需显卡纯CPU也可以运行，也就是说配置低的电脑也可以本地运行聊天AI了。

使用方法

环境配置：

推荐Python版本 3.9
需要模块numpy、tokenizers、prompt_toolkit、transformers、flask、flask-socketio、tORCh  

运行要求：

最低4G运行内存（CPU+4G内存，可以运行430m的小模型）
最高不限（最高可运行14b的大模型，聊天质量和效果更好）  

运行设置：

根据自己电脑配置在模型网站（https://huggingface.co/RWKV） 下载合适的模型
下载的所有文件放在model文件夹内，并修改main.py第12行代码，将'rwkv-4-world-430m'修改为自己下载的模型文件夹
运行main.py，在浏览器中打开http://172.0.0.1:5000 即可开始对话  

源码下载地址