AidGen 是 APLUX 基于 AidLite 构建的生成式 AI 推理 SDK,面向端侧语言模型及多模态应用。它提供模型配置、初始化、推理和结果处理接口,帮助开发者把模型能力集成到自己的应用中。

| 项目 | 支持说明 |
|---|---|
| Linux / AidLux | C++ 接口已支持。 |
| Python | 开发指南标为规划中。 |
| Android Java | 开发指南标为规划中。 |
| 多模态音频输入 | 规划能力,不作为当前已支持功能。 |
实际可用的模型、加速方式与设备芯片和运行时依赖有关。QNN 等后端版本应与下载的模型匹配。
在支持 aid-pkg 的设备中安装开发包:
sudo aid-pkg update
sudo aid-pkg -i aidgen-sdk
根据模型需要安装指南中对应的推理后端组件,再通过 MMS 登录并选择匹配芯片、精度和后端的模型资源。不要仅根据模型名称选择文件。
安装包中的示例位于 /usr/local/share/aidgen/examples。可先阅读示例说明,将模型与配置准备完整,检查配置中的模型和分词器路径,然后编译并运行与任务对应的 C++ 示例。
应用需要正确配置模型的对话模板和采样参数。输出重复、语言不符或效果异常时,应结合 FAQ 检查模型模板、提示词和生成参数。模型配置中的依赖版本用于兼容性判断,不代表 AidGen 自身的发布版本。
需要以 HTTP 接口提供模型服务时,可参考基于 AidGen 的 AidGenSE;需要直接集成推理调用时使用本 SDK。