Flink 靠什么征服饿了么工程师?

  • 时间:
  • 浏览:2
  • 来源:大发彩神APP_大发神彩APP官方

来源于多个数据源的数据写到kafka里,计算引擎主可是Storm,Spark和Flink,计算引擎出来的结果数据再落地到各种存储上。

平台现状

目前Storm任务最少有1150多个,Spark任务有150个左右,Flink暂时还比较少。

在讲述大家应用场景以前,先强调实时计算一一两个多多重要概念, 一致性语义:

下面是目前饿了么平台现状架构图:

1) at-most-once:即fire and forget,大家通常写一一两个多多java的应用,不去考虑源头的offset管理,可是去考虑

应用场景

1.一致性语义

目前大家集群规模每天数据量有150TB,计算次数有11150000000,节点有150个。这里要提一下,Spark和Flink不是on yarn的,其中Flink onyarn主可是用作任务间jobmanager隔离, Storm是standalone模式。