关于我

我是一名关注 AI Infra、LLM Gateway 与智能语义路由 的工程师。我的工作经历从云原生网络与网关数据面开始，逐步延伸到统一模型服务、MaaS 平台、模型路由与 LLM 流量治理。

更具体地说，我关心的是：当大模型调用从“应用代码里的一次 API 请求”变成“高成本、高延迟、多模型、多租户、可观测、可治理的生产流量”时，基础设施层应该如何理解这条请求，并做出更好的决策。

我的技术主线

我的长期主线可以概括为三件事。

第一是 LLM Gateway。我参与过统一模型 MaaS 服务相关研发，关注模型 API 接入、协议适配、流式输出、租户隔离、限流配额、审计计量、SLO 与可观测性。相比普通 HTTP 流量，LLM 请求有更高的单次成本、更长的生命周期、更复杂的错误模式，也更需要在网关层做统一治理。

第二是 智能语义路由。我是 vllm-project/semantic-router 的核心 committer，长期关注 Mixture-of-Models、AI Gateway 和生产 LLM 流量治理场景下的模型选择问题。这里的“路由”不只是把请求转发到某个后端，而是要从 prompt、上下文、请求参数、租户元数据、模型能力、成本、延迟、安全等级和历史反馈中抽取信号，再决定应该使用哪个模型、是否需要降级、是否命中缓存、是否触发安全策略。

第三是 云原生数据面。在进入 LLM Gateway 方向之前，我主要做容器网络、Service / Ingress / Gateway、流量入口和生产问题排查。这段经历让我对 CNI、Kubernetes Service、Gateway API、Envoy / xDS、数据面稳定性和策略下发链路有比较扎实的工程直觉。现在回头看，它正好构成了理解 AI Gateway 的底层语言：LLM 应用需要智能，但智能最终也要落在可靠的数据面上。

我在 semantic-router 中关注什么

semantic-router 对我来说不是一个单点算法项目，而是一个把 LLM 应用层决策下沉到基础设施层的实验场。

我重点关注几个方向：

  • 请求语义理解：如何从 prompt、上下文和请求元数据中抽取可用于路由的信号。
  • 模型能力匹配：如何根据任务类型、上下文长度、推理能力、成本和延迟选择合适模型。
  • 安全与合规检测：如何在网关层处理 prompt injection、jailbreak、PII 和内容安全问题。
  • 语义缓存与上下文复用：如何让 semantic cache、prefix-aware routing、KV-cache-aware routing 真正影响成本、延迟和吞吐。
  • 反馈学习与在线优化：如何把用户反馈、质量信号、错误率、成本和延迟回流到路由决策中。
  • 生产可观测性：如何让一次“智能路由”不只是给出结果，还能解释为什么这么路由、代价是多少、风险在哪里。

我比较喜欢这个方向，是因为它处在多个系统的交界处：模型服务、网关数据面、在线学习、安全治理、成本控制、可观测性。它不是单纯“让模型更聪明”，而是让基础设施更懂模型。

我的工程视角

我倾向于把 LLM 系统看成一条完整链路，而不是一个孤立模型：用户请求进入网关，经过鉴权、配额、语义理解、安全检测、模型选择、缓存判断、后端推理、流式返回、审计计量和反馈采集。每一层都可能影响最终体验。

所以我在做技术判断时，会特别关注几个问题：

  • 这个能力应该放在应用层、网关层，还是推理后端？
  • 这个策略能不能解释、观测、回放和灰度？
  • 它优化的是平均成本，还是尾延迟、质量、稳定性、缓存命中率？
  • 它在单机 demo 中成立，到了多租户、长连接、流式输出和失败重试场景下还是否成立？
  • 它和 Kubernetes / Gateway API / Envoy / vLLM / SGLang 这些已有系统如何组合？

这也是我从云原生网关转向 AI Gateway 后最强烈的感受：LLM 基础设施不是从零开始的新大陆，它正在复用过去十年云原生数据面沉淀下来的控制面、数据面和可观测性范式，只是请求本身变得更“语义化”了。

这个网站会写什么

这个网站会逐步沉淀我的技术文章、研究笔记、项目总结和公开履历。短期内会围绕以下主题展开：

  • LLM Gateway、AI Gateway 与模型服务化基础设施。
  • Semantic Router、Mixture-of-Models 与模型路由策略。
  • Envoy、Gateway API、ext_proc 与云原生数据面。
  • vLLM、SGLang、KV cache、prefix caching 对路由和调度策略的影响。
  • Agent runtime、上下文工程、工具调用和可观测性。

我希望这里不是一个静态简历，而是一个长期更新的技术档案：记录我如何理解这些系统，也记录我如何把开源研究、生产经验和工程实现连接起来。