什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

【金三银四Java面试】如何统计过去10分钟API的访问次数并在看板展示前10100名API访问量的需求?

在Java技术面试中,如何在高并发场景下实时统计过去10分钟的API访问次数,并在看板中展示访问量最高的前10或100个API,是一道考察技术广度和架构设计能力的经典场景题。该需求核心在于解决海量数据下的实时计算、性能解耦以及高效排序展示问题,不能简单依赖拦截器和本地缓存。以下将从核心需求出发,详细解析两套主流的架构设计方案及其选型建议。
01核心需求
  1. 实时统计
    统计过去10分钟内每个API的访问次数,数据需实时更新。
  2. 高并发低延迟
    API调用量巨大,统计过程不能阻塞或拖慢主业务线程的性能。
  3. Top N展示
    在看板上实时展示访问量最高的前N个API(如前10或前100)。
02方案一(流计算架构)
该方案采用Flink + Kafka + Redis + Grafana的技术组合,适用于对实时性要求极高的场景。
  • 数据采集与解耦
    通过AOP或过滤器拦截API请求,将请求日志异步发送到Kafka消息队列,实现统计逻辑与主业务线程的解耦,避免性能影响。
  • 流式窗口计算
    Flink作为流处理框架消费Kafka数据,开启10分钟的滑动窗口,每隔5秒统计一次窗口内的API访问次数,保证数据的实时性和准确性。
  • 实时存储与排序
    将Flink计算结果实时更新到Redis中,利用Redis的SortedSet(有序集合)结构存储,以API路径为Key、访问次数为Score,通过ZINCRBY命令进行原子性累加,高效支持Top N查询。
  • 可视化展示
    前端看板使用Grafana连接Redis,直接查询SortedSet中的前N名数据,并设置仪表盘实时刷新。
03方案二(日志体系架构)
该方案基于现有的ELK(Elasticsearch, Logstash, Kibana)日志体系,适用于需要长期存储和回溯的场景。
  • 日志采集
    Logstash负责采集Web服务器(如Nginx)的访问日志,解析出API路径和时间戳。
  • 索引存储与聚合
    将解析后的日志写入Elasticsearch,按时间建立索引。利用ES的聚合功能,实时统计最近10分钟内各API的访问次数。
  • 可视化看板
    使用Kibana创建Dashboard,添加Top API聚合图表,设置时间过滤器为最近10分钟,按API路径聚合并降序排列,开启自动刷新实现展示。
04方案选型建议
对比维度流计算架构 (Flink方案)日志体系架构 (ELK方案)
实时性极高,毫秒级延迟稍差,存在秒级或分钟级延迟
开发成本需额外引入流处理组件,有一定开发量开箱即用,无需额外开发
性能影响完全异步,不影响主系统性能依赖日志采集,可能存在资源开销
数据存储侧重于实时统计窗口数据支持长期存储日志,便于回溯
维护成本需维护Kafka、Flink集群需维护ELK集群,资源开销较大

两种架构方案的优缺点对比

综上所述,两种方案均能满足需求。如果追求极致的实时性和轻量级架构,建议选择基于Flink的流计算方案;如果公司内部已有成熟的ELK体系且对秒级延迟不敏感,直接利用ELK方案更为高效,避免了重复造轮子。

评论

评论区空态插画

当前文章无评论,是时候发表评论了