感知世界
接收传感器信号、环境信息与人的表达,感知现场状态。
OAK,让设备理解情境,把需要变成行动。
OpenSparX 打造的端侧 Agent OS,集成模型、感知、决策与工具调用能力,为设备提供从感知到行动的完整端侧智能解决方案。
OAK 将模型与感知能力、情境理解、任务决策和工具调用连接起来,让设备结合现场信息,判断下一步、调用合适的服务,并通过授权接口完成任务。
接收传感器信号、环境信息与人的表达,感知现场状态。
结合当前输入、历史信息、偏好与任务目标,理解正在发生什么。
判断需要采取的行动,选择合适的工具与服务,组织任务步骤。
通过授权接口连接服务与设备,接收执行结果,更新后续判断。
从模型能力到任务组织,再到端侧运行,共同支撑设备从感知走向行动。
提供感知与理解所需的模型能力。
通过模型理解人的表达、环境状态与任务背景,并根据具体场景进行适配。
面向端侧的基座模型,目前供内部使用,持续训练中。
已公开的座舱场景模型覆盖对话、意图识别等任务;各模型基座和许可见对应模型卡。
提供二维码识别、车位感知等轻量视觉能力,可按场景选配。
管理情境、组织决策,连接工具与任务执行。
结合指令、情境与目标规划任务,协调记忆、模型和工具,并接收执行反馈。
根据任务选择模型、管理记忆,为决策提供相关上下文。
编排任务步骤,通过已授权的行业接口调用工具,并获取执行状态。
通过项目接口连接设备系统;飞控、运动控制等行业控制功能由对应系统承担。
支撑模型在目标设备上的高效运行。
围绕目标芯片优化模型推理、调度与内存使用,支撑设备上的多模型运行。
多模型接入与运行调度,协调任务优先级和可用算力。
推理加速与全局内存管理,适配端侧资源约束。
以高通 NPU 项目经验为基础,按合作项目推进其他芯片的适配;具体支持范围取决于平台、模型和版本。
OAK 可交付为 SDK、软件包或源码授权,支持单独接入记忆等模块,也可将整套能力集成到设备。通过项目接口连接已有模型、应用与服务,底层设备控制由对应系统承担。
梳理目标任务、已有模型、芯片平台和可用接口。
确定接入的能力层,在目标设备与场景中验证效果。
在项目评估中约定软件交付内容、授权范围、验收标准和维护安排。
CyberEdge 面向端侧 Agent 开发,CyberTools 面向模型部署优化。通过工作台申请访问权限,外部工具可能需要独立登录。
OAK为设备提供模型、感知、情境理解、决策与工具调用能力。
CyberEdge构建、测试和部署端侧智能体,输出 SDK 包。
CyberTools量化压缩与精度调优,让模型适配目标芯片。
端侧 Agent 开发工具链。通过可视化节点完成智能体编排、测试与部署,生成 SDK 包,并推送至已适配的芯片平台运行。
登录工作台 · CyberEdge ↗端侧大模型量化压缩工具链。支持 INT4 量化、压缩与精度调优,输出适配高通 SA8397、SA8797 等车规芯片的推理模型。
INT4 量化精度损失不超过 1%;适用模型、任务及评测口径需在接入评估中确认。
OAK 连接人的表达、环境状态、任务目标与可用服务,在当前条件下选择合适的行动。
探索不同情境,看信息如何关联、行动如何形成。
双手湿润且正在备餐,毛巾可用 → 当前整理任务可暂停 → 安排机器人先递送毛巾。
“我有点冷。”
从一句自然表达,理解需求并组织合适的座舱服务。
能力流程示意,非实时设备演示;实际能力以项目交付范围为准。
接入语音转写及车辆当前状态。
结合温度、座位与可用的偏好信息。
结合舒适需求,组织可用的温控服务。
通过项目授权接口调用相应设备功能。
确认设备状态,接受用户进一步调整。
从端侧推理引擎到任务运行框架,围绕具体平台与场景开展研发、集成和交付。
共同研发端侧大模型推理引擎,围绕模型量化、执行优化与 NPU 适配,支撑“超级 Eva”的相关端侧应用。
数据来自吉利 G-Edge 2025.08 公开发布材料,完整测试条件未披露,不代表所有模型与芯片的性能承诺。
查看公开数据原图
将端侧推理能力与 AI Box 硬件结合,推进设备侧智能方案的联合开发。
计划联合亮相 CES 2027,展示安排仍属规划。
讨论联合方案与伙伴共同开展平台适配、模块集成和联合方案开发,推动产品交付。
高通 NPU 项目经验;与 AMD 推进端侧 AI Box 联合方案。
围绕记忆模块开展合作。
合作阶段截至 2026.09。伙伴关系不等同于全部平台已经完成适配或量产部署。
访问公开代码、场景模型和研究成果,了解可用能力及其边界。
公开模块用于技术评估与开发。仓库采用开放核心模式,部分运行时能力通过商业交付提供。
git clone https://github.com/OpenSparX/MasterAgent.git公开版本为 Alpha,API 仍可能变化。模块、许可证与构建要求以仓库当前说明为准。
对话、意图识别与场景适配模型。各模型的基座、量化规格和许可见模型卡。
浏览 OpenSparX 模型用于理解座舱中的人及其行为。访问数据集说明,了解数据范围和使用许可。
查看数据集针对 NPU 硬件特性设计模型架构,在指定测试中将视觉编码耗时从 1,415 ms 降至 101.7 ms。
SA8295P NPU · 512 × 512 输入 · 约 300M 视觉编码器 · W8A16;比较 InternViT 与 AutoNeural,不代表系统整体加速。
阅读研究论文用于了解接口、验证公开能力与参与开发。开放模块按各自许可证使用。
根据目标芯片、模型与场景,确定适配开发、模块集成和验收范围。
产品授权、版本维护与工程支持按合同确定;联合硬件方案分别明确软硬件范围。
OpenSparX 从人智交互研究出发,将对人的需求与行为的理解,转化为设备上的智能能力,推动研究走向真实产品。
让物理世界,更好地满足人的需求。
同济团队持续开展汽车用户体验、人车关系与交互研究。
HAI 人智交互研究、P-CAFE 评测;年底 OpenSparX 在国内成立。
推进端侧模型研发与评测,AutoNeural 联合研究论文公开。
G-Edge 座舱量产,推进 OAK 产品体系与伙伴联合方案。
2004–2024 的早期节点为相关团队科研积累,OpenSparX 公司成立于 2024 年底。
记录从技术研究到产品落地的进展。
欢迎介绍你的经历、作品,以及想和我们一起解决的问题。
从一个具体场景开始,讨论 OAK 接入、智能体开发或模型部署。