Higress.AI – 基于Istio与Envoy的AI原生API网关

Higress是依托Istio、Envoy构建的AI原生API网关，支持Go、Rust、JavaScript开发的Wasm插件实现能力扩展。平台集成AI网关、MCP服务器托管、Kubernetes入口控制器、微服务网关、安全网关多重能力。内置AI网关能力，支持多模型动态切换、故障回落重试、大模型内容安全合规校验、语义缓存、多API Key负载均衡、Token配额管控与限流、LLM流量灰度发布、调用成本审计，赋能企业搭建AI智能体、统一管控LLM接口服务。

一、产品核心功能：

1、AI网关能力；

2、MCP服务器托管；

3、Kubernetes入口控制器；

4、微服务网关；

5、安全网关；

6、多模型灵活切换、故障回退与重试机制；

7、大模型内容安全合规检测；

8、语义缓存；

9、多API Key负载均衡调度；

10、Token配额管理与限流控制；

11、大模型流量灰度发布；

12、AI调用成本统计审计。

二、典型使用场景：

1、构建各类AI Agent智能体应用。

2、统一管理LLM模型接口服务。

3、将现有RESTful API转化为MCP服务。

4、防护大模型接口流量，保障访问安全。

5、对AI服务执行限流策略与Token用量管控。

6、持续审计AI接口调用开销与资源成本。

三、标准使用流程：

依托Higress搭建AI智能体、统一管控LLM API。可启用多模型调度、内容安全检测、语义缓存、多API Key均衡、Token管控、流量灰度、成本审计等能力。同时支持将存量RESTful API快速转换为MCP服务器，对接各类AI智能体工作流。