2 posts tagged with "llm"

本文介绍 streaming-llm-agent 多模块项目中 Governance Service 的详细架构设计。Governance Service 是异步治理层，不在对话关键路径上——Chat Service 通过 Kafka fire-and-forget 发布事件，Governance Service 异步消费，完成审计落地、成本计算、指标汇总和配额管理。

本文介绍一套面向 AI 客服 / 问答助手场景的流式 LLM Agent 服务架构，技术栈为 Spring Boot 3 + WebFlux + LangChain4j + Redis + Kafka，采用 Chat Service + Governance Service 双服务分层设计，支持中等规模起步（日活十万级、峰值千级并发会话）并可平滑扩展至大规模。