prince的文章

1. 使用Java求日活的WindowFunction使用 // 设置时间语议，并过滤其中的首页曝光数据 DataStream<AppLogBean> homeExposureStream = appExposureStream...

赞(0)princeFlink 深入 阅读(165)

1. 需求描述 设置会话超时时间为10s,10s内没有数据到来,则触发上个窗口的计算 2. 代码演示 import lombok.AllArgsConstructor; import lombok.Data; import lombok.N...

赞(0)princeFlink 深入 阅读(183)

1. 需求描述 需求1:统计在最近5条消息中,各自路口通过的汽车数量,相同的key每出现5次进行统计--基于数量的滚动窗口 需求2:统计在最近5条消息中,各自路口通过的汽车数量,相同的key每出现3次进行统计--基于数量的滑动窗口 2. 代...

赞(0)princeFlink 深入 阅读(191)

1. 需求描述 nc -lk 9999 有如下数据表示: 信号灯编号和通过该信号灯的车的数量 9,3 9,2 9,7 4,9 2,6 1,5 2,3 5,7 5,4 需求1:每5秒钟统计一次，最近5秒钟内，各个路口通过红绿灯汽车的数量--基...

赞(0)princeFlink 深入 阅读(179)

1. 为什么需要Window 在流处理应用中，数据是连续不断的，有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。 在这种情况下，我们必须定义一个窗口(window)，用来收集最近1分钟内的数据，并对这个窗口...

赞(0)princeFlink 深入 阅读(178)

1. Flink中分布式缓存概述 Flink提供了一个类似于Hadoop的分布式缓存，让并行运行实例的函数可以在本地访问。 这个功能可以被使用来分享外部静态的数据，例如：机器学习的逻辑回归模型等。 广播变量是将变量分发到各个TaskMana...

赞(0)princeFlink 深入 阅读(214)

1. Flink中广播变量概述 Flink支持广播。可以将数据广播到TaskManager上就可以供TaskManager中的SubTask/task去使用，数据存储到内存中。这样可以减少大量的shuffle操作，而不需要多次传递给集群节点...

赞(0)princeFlink 深入 阅读(175)

1. Flink中的累加器概述 Flink中的累加器，与Mapreduce counter的应用场景类似，可以很好地观察task在运行期间的数据变化，如在Flink job任务中的算子函数中操作累加器，在任务执行结束之后才能获得累加器的最终...

赞(0)princeFlink 深入 阅读(239)

1. Flink之Connect JDBC API Apache Flink 1.12 Documentation: JDBC Connector import lombok.AllArgsConstructor; import lombo...

赞(0)princeFlink 深入 阅读(194)

1. pom依赖 Flink 里已经提供了一些绑定的 Connector，例如 kafka source 和 sink，Es sink 等。读写 kafka、es、rabbitMQ 时可以直接使用相应 connector 的 api 即可，...

赞(0)princeFlink 深入 阅读(209)