四大子域
- Agent 运行时——Agent loop + SOP 路由关口(优先级 / 单路径 / 重新路由 / 显式计划);
- 流式网关——AG-UI / SSE 流式输出,JWT 自校验与限流;单向输出场景选 SSE:复用 HTTP 中间件 + EventSource 自动重连;
- 多模型路由——经 LiteLLM 网关的逻辑模型名路由 + namespace 分区缓存;
- 用量计量——用量事实流 outbox → MQ → 幂等落库 + 额度执行,与 ERP 侧本地消息表同一架构思想的两端落地;
工程红线
密钥不出域(日志与存储无密钥明文)、租户标识全链路不丢失、OTel 遥测 + 敏感信息脱敏;自建 eval 评测集 + 一致性回归 + 性能基准(首 token 延迟 TTFT、向量检索基准)。
结构
pnpm monorepo + Turborepo;包边界即未来微服务边界——应用间禁互相引用,走 HTTP 契约或 MQ 事件;共享库依赖方向无环(core ← 其余包 ← apps)。