prince的文章

1. 流式文件写入介绍 官网介绍：Apache Flink 1.12 Documentation: Streaming File Sink 博文介绍：Flink1.9系列-StreamingFileSink vs BucketingSink...

赞(0)princeFlink 深入 阅读(187)

1. 异步IO概述 1.1. 异步IO操作的需求 官网地址：Apache Flink 1.12 Documentation: Asynchronous I/O for External Data Access Async I/O 是阿里巴巴...

赞(0)princeFlink 深入 阅读(218)

1. 流处理的数据处理语议 对于批处理，fault-tolerant（容错性）很容易做，失败只需要replay，就可以完美做到容错。 对于流处理，数据流本身是动态，没有所谓的开始或结束，虽然可以replay buffer的部分数据，但fau...

赞(0)princeFlink 深入 阅读(196)

1. 双流Join介绍 介绍文章网址： Apache Flink 1.12 Documentation: Joining 面试实时开发必问——Flink中如何做流Join呢？ - 知乎 十Flink实现双流join_andy的博客-CSDN...

赞(0)princeFlink 深入 阅读(184)

1. BroadcastState介绍 在开发过程中，如果遇到需要下发/广播配置、规则等低吞吐事件流到下游所有 task 时，就可以使用 Broadcast State。Broadcast State 是 Flink 1.5 引入的新特性。...

赞(0)princeFlink 深入 阅读(228)

1. 需求 在电商领域会有这么一个场景，如果用户买了商品，在订单完成之后，一定时间之内没有做出评价，系统自动给与五星好评，我们今天主要使用Flink的定时器来简单实现这一功能。 2. 数据 自定义source模拟生成一些订单数据，在这里，我...

赞(0)princeFlink 深入 阅读(186)

1. 需求 在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。除了这个，还有一些其他场景的应用，比如我们在我们的后台系统实时的展示我们网站当前的pv、uv等等，其实做法都是类似的。 需求...

赞(0)princeFlink 深入 阅读(184)

1. select算子 SELECT 用于从 DataSet/DataStream 中选择数据，用于筛选出某些列。 示例： // 取出表中的所有列 SELECT * FROM Table； // 取出表中 name 和 age 两列 SEL...

赞(0)princeFlink 深入 阅读(183)

1. 需求 从Kafka中消费数据并过滤出状态为success的数据再写入到Kafka 数据： {"user_id": "1", "page_id":"1", ...

赞(0)princeFlink 深入 阅读(180)

1. 需求 使用Flink SQL来统计5秒内 每个用户的 订单总数、订单的最大金额、订单的最小金额 也就是每隔5秒统计最近5秒的每个用户的订单总数、订单的最大金额、订单的最小金额。 编码步骤： 1.创建环境 2.使用自定义函数模拟实时流数...

赞(0)princeFlink 深入 阅读(178)