【金三银四Java面试】如何统计过去10分钟API的访问次数并在看板展示前10100名API访问量的需求?
在Java技术面试中,如何在高并发场景下实时统计过去10分钟的API访问次数,并在看板中展示访问量最高的前10或100个API,是一道考察技术广度和架构设计能力的经典场景题。该需求核心在于解决海量数据下的实时计算、性能解耦以及高效排序展示问题,不能简单依赖拦截器和本地缓存。以下将从核心需求出发,详细解析两套主流的架构设计方案及其选型建议。
01核心需求
- 实时统计
统计过去10分钟内每个API的访问次数,数据需实时更新。 - 高并发低延迟
API调用量巨大,统计过程不能阻塞或拖慢主业务线程的性能。 - Top N展示
在看板上实时展示访问量最高的前N个API(如前10或前100)。
02方案一(流计算架构)
该方案采用Flink + Kafka + Redis + Grafana的技术组合,适用于对实时性要求极高的场景。
- 数据采集与解耦
通过AOP或过滤器拦截API请求,将请求日志异步发送到Kafka消息队列,实现统计逻辑与主业务线程的解耦,避免性能影响。 - 流式窗口计算
Flink作为流处理框架消费Kafka数据,开启10分钟的滑动窗口,每隔5秒统计一次窗口内的API访问次数,保证数据的实时性和准确性。 - 实时存储与排序
将Flink计算结果实时更新到Redis中,利用Redis的SortedSet(有序集合)结构存储,以API路径为Key、访问次数为Score,通过ZINCRBY命令进行原子性累加,高效支持Top N查询。 - 可视化展示
前端看板使用Grafana连接Redis,直接查询SortedSet中的前N名数据,并设置仪表盘实时刷新。
03方案二(日志体系架构)
该方案基于现有的ELK(Elasticsearch, Logstash, Kibana)日志体系,适用于需要长期存储和回溯的场景。
- 日志采集
Logstash负责采集Web服务器(如Nginx)的访问日志,解析出API路径和时间戳。 - 索引存储与聚合
将解析后的日志写入Elasticsearch,按时间建立索引。利用ES的聚合功能,实时统计最近10分钟内各API的访问次数。 - 可视化看板
使用Kibana创建Dashboard,添加Top API聚合图表,设置时间过滤器为最近10分钟,按API路径聚合并降序排列,开启自动刷新实现展示。
04方案选型建议
| 对比维度 | 流计算架构 (Flink方案) | 日志体系架构 (ELK方案) |
|---|---|---|
| 实时性 | 极高,毫秒级延迟 | 稍差,存在秒级或分钟级延迟 |
| 开发成本 | 需额外引入流处理组件,有一定开发量 | 开箱即用,无需额外开发 |
| 性能影响 | 完全异步,不影响主系统性能 | 依赖日志采集,可能存在资源开销 |
| 数据存储 | 侧重于实时统计窗口数据 | 支持长期存储日志,便于回溯 |
| 维护成本 | 需维护Kafka、Flink集群 | 需维护ELK集群,资源开销较大 |
两种架构方案的优缺点对比
综上所述,两种方案均能满足需求。如果追求极致的实时性和轻量级架构,建议选择基于Flink的流计算方案;如果公司内部已有成熟的ELK体系且对秒级延迟不敏感,直接利用ELK方案更为高效,避免了重复造轮子。
当前文章无评论,是时候发表评论了