AidGenSE

软件简介

AidGenSE 是 APLUX 基于 AidGen 提供的本地生成式 AI 服务。它把模型推理封装为兼容 OpenAI HTTP 协议的服务接口，并通过 aidllm 管理模型与服务，适合在支持的端侧设备上搭建聊天、图文问答及知识库应用。

核心能力

• 提供 /v1/chat/completions 对话接口，可按支持的模型处理文本或图文输入。
• 支持流式输出；请求启用 stream 时以 SSE 方式返回结果。
• 使用 aidllm 查询、下载模型，启动、停止和查看服务状态。
• 提供可选 Web UI 和 RAG 组件，支持检索增强生成应用的搭建。
• 支持按规范接入自备模型，包括模型文件、分词器和配置文件的整理。

运行环境与模型限制

项目	支持说明
操作系统	Linux 已支持；Android 在源文档中标为规划中。
GGUF 模型	对应 CPU / GPU 推理，不支持 NPU。
BIN / AIDEM 模型	对应 NPU 推理，不支持 CPU / GPU。
Python API	独立页面尚未完成，应用集成以已说明的 HTTP 接口为准。

模型的计算单元不能任意切换，下载前应同时核对芯片、模型格式与运行时依赖。

快速开始

在符合指南要求的设备中安装服务及 SDK：

sudo aid-pkg update
sudo aid-pkg -i aidgense
sudo aid-pkg -i aidgen-sdk
aidllm remote-list api

按模型要求配置后端，通过 aidllm pull api 获取所选资源。完成下载后，使用以下命令查看本地模型与服务状态：

aidllm list api
aidllm status api

使用 aidllm start api -m <model_name> 启动已下载模型，服务默认使用 8888 端口。模型名称需替换为本机列表中的实际名称。完整请求格式、流式调用以及 Web UI 启动方式见开发指南。

RAG 与自定义模型

RAG 组件可在安装基础服务后按指南单独安装，并使用相应命令管理向量知识库。示例知识库用于体验流程，业务知识库需自行准备。

自定义模型接入文档说明 GGUF、高通 QNN BIN 及 AIDEM 的文件组织与配置要求；其中“上传”指模型资源接入，不能理解为任意业务文档都能直接用于模型问答。

开发文档

• 服务部署与 HTTP 调用
• RAG 使用指南
• 自定义模型接入
• 常见问题