国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

百亿条日志实时处理,为什么要用Flink?

发布时间:2019/09/04标签:   作业    点击量:

原标题:百亿条日志实时处理,为什么要用Flink?
Sherlock.IO 是 eBay 现有的监控平台,天天要处置上百亿条日记、变乱和目标。Flink Streaming job 及时处置体系用于处置此中的日记和变乱。图片来自 Pexels本文将联合监控体系 Flink 的近况,详细报告 Flink 在监控体系上的实际和利用,盼望给同业职员一些鉴戒和启示。监控体系 Flink 的近况eBay 的监控平台 Sherlock.IO 天天处置着上百亿条日记(log),变乱(event)和目标(metric)。经过构建 Flink Streaming job 及时处置体系,监控团队可能实时将日记和变乱的处置成果反应给用户。以后,监控团队保护着 8 个 Flink 集群,最大的集群范围到达上千个 TaskManager,统共运转着上百个功课(job),一些功课曾经稳固运转了半年以上。元数据驱动为了让用户和治理员可能愈加快速地创立 Flink 功课并调剂参数,监控团队在 Flink 上搭建了一套元数据微效劳(metadata service)。该效劳可能用 Json 来描写一个功课的 DAG,且雷同的 DAG 共用统一个功课,可能愈加便利地创立功课,无需挪用 Flink API。Sherlock.IO 流处置团体的架构如图 1 所示:图 1:Sherlock.IO 流处置团体架构现在,用这套元数据微效劳创立的功课仅支撑以 Kafka 作为数据源,只有数据接入到 Kafka,用户便可以界说 Capability 来处置逻辑从而经过 Flink Streaming 处置数据。元数据微效劳元数据微效劳框架如图 2 所示,最下层是元数据微效劳供给的 Restful API, 用户经过挪用 API 来描写和提交功课。图 2:元数据微效劳框架描写功课的元数据包括三个局部: Capability Policy ResourceFlink 适配器(Adaptor)衔接了 Flink Streaming API 和元数据微效劳 API,且会依据元数据微效劳描写的功课挪用 Flink Streaming API 来创立功课,从而屏障 Flink Stream API。因而,用户不必懂得 Flink Streaming API 便可以创立 Flink 功课。将来假如须要迁徙到其余的流处置框架,只有增添一个适配器,便可以将现有的功课迁徙到新的流处置框架上。①CapabilityCapability 界说了功课的 DAG 以及每个算子(Operator)所用的 Class,图 3 是变乱处置(eventProcess)Capability,它终极会天生如图 4 的 DAG:图 3:eventESSink Capability

版权信息Copyright © IT技术教程 版权所有    ICP备案编号:鲁ICP备09013610号