随着Agent应用的深入，其底层的事件驱动特性对流计算提出了新要求。Apache Flink作为流处理的事实标准，正通过其开源框架Flink Agents和内置AI Function，为构建低延迟、高可靠的实时AI系统提供完整的解决方案，打开了新的可能性。
智能速览
Agent时代需要实时流计算来处理事件驱动的底层逻辑
开源框架Flink Agents简化了事件驱动型Agent的开发
Flink AI Function允许在SQL作业中直接进行实时LLM推理
阿里云Flink版性能显著提升，1个CU的Flash引擎等效于4个CU开源版
结合Apache Fluss可进一步降低端到端延迟
精华内容
从实时数据处理到智能决策，流计算正成为AI应用的新基石。探索Flink如何通过专门的Agent框架和内置的AI函数，将实时推理能力无缝集成到数据管道中，开启智能应用的新范式。
流计算与Agent的结合
在Agent时代，大量的底层行为是由事件驱动的，而非用户直接交互。传统的批处理式调用模式在应对高并发时容易产生流量洪峰，导致模型服务限流，并带来较高的端到端延迟。
流计算模式则通过“细水长流”的方式平滑流量，有效缓解洪峰问题。Apache Flink提供的Exactly-once语义和基于事件时间的处理机制，为处理这些事件流提供了正确性和实时性保障，成为支撑Agent实时响应的理想选择。
Flink Agents框架解析
为了简化事件驱动型Agent的开发，Apache Flink Agents框架应运而生。这是一个开源框架，它将构建Streaming模式Agent的共性逻辑进行封装，开发者可通过Python、Java的API，基于Flink的Table或DataStream API进行开发。
框架内部集成了LLM调用、工具执行、提示管理和记忆模块。在客户之声（VOC）场景的演示中，系统能实时分析新增商品评论，一旦识别出低分差评，可立即调用工具通知物流或产品经理，实现了从数据输入到行动触发的实时闭环。
内置AI实时推理能力
除了Agent框架，Flink还提供了内置的AI Function，允许在SQL流作业或PyFlink作业中直接调用大模型进行实时推理。用户可以通过`CREATE MODEL`语句注册兼容OpenAI接口的模型服务，并配置相关参数。
注册后，即可使用`ML_PREDICT`函数进行通用推理，或使用企业版提供的情感分析、实时翻译等垂直AI Function，省去了自行设计复杂Prompt的麻烦。某头部车企利用此方案，实时融合多渠道用户反馈进行舆情分析，实现了高吞吐、低成本且精确的实时洞察。
性能与延迟优化
实时调用远程模型会引入网络和推理延迟，这对端到端的实时性提出了挑战。为此，提供了两种优化思路。
其一，引入Apache Fluss，一个专为流场景设计的流存储系统。它替代Kafka后，凭借流读流写、列式裁剪等特性，可将典型链路的端到端延迟从分钟级降至更低。其二，结合本地部署的小模型进行推理，能最大程度减少外部调用开销。此外，对图片、音视频等非结构化数据的实时处理能力也正在建设中。
Apache Flink正从流处理引擎演进为构建实时智能应用的核心平台。通过Flink Agents框架与AI Function，开发者能够以前所未有的便捷度和可靠性，构建端到端的实时AI系统。随着与Fluss等技术的深度融合，实时智能的边界将被进一步拓宽，未来可期。
