prince的文章

基础概念： GNU与GPL： GNU计划：理查德·马修·斯托曼在1984年发起的计划，目标是建立一个自由的、开放的UNIX操作系统 GPL（General public License）：通用公共许可证 Linux其实就是操作系统最底层的内...

赞(0)princeLinux基础 阅读(232)

1. 开发目的 在进行Flink作业的开发中，我们可能需要经常用到维度匹配的功能，即根据传入的数据（比如商品id），然后去维度表中匹配该数据对应的维度信息（比如根据商品id获取商品的颜色、尺码等）。这时如果我们使用Map或者Process算...

赞(0)princeFlink 深入 阅读(200)

1. 开发目的 在使用SpringBoot后端开发中，我们如果需要对Redis进行增删查改，可以很方便的使用RedisTemplate或者StringRedisTemplate等对象进行操作。但是在大数据中，如果想要对Redis进行操作，就...

赞(0)princeFlink 深入 阅读(216)

1. 开发目的 在使用SpringBoot后端开发中，我们如果需要对MySQL进行增删查改，可以很方便的使用Mybatis进行操作。但是在大数据中，如果想要对MySQL进行操作，就没有那么方便，特别当flink新一代流式计算框架兴起后，在老...

赞(0)princeFlink 深入 阅读(197)

0. 相关文章链接 Flink文章汇总 1. 开发目的 在日常的Flink开发中，我们经常要从Kafka中获取数据，或将计算统计后的结果输出到Kafka中，如果我们每次开发程序都去手动的创建 KafkaProducer 或者 KafkaCo...

赞(0)princeFlink 深入 阅读(236)

1. 开发目的 在日常的Flink中开发中，基本是在自己电脑的idea工具上进行Flink程序开发，并在本地联通测试环境进行调试（比如测试环境的Kafka等），当在本地调试通过后将代码打包，然后提交到正式环境运行。但在此过程中，因为本地调试...

赞(0)princeFlink 深入 阅读(196)

1. FlinkCDC1.x中存在的痛点 2. FlinkCDC2.x的设计目标 3. FlinkCDC2.x的设计实现 3.1. 整体概览 在对于有主键的表做初始化模式，整体的流程主要分为 5 个阶段： 1、 Chunk切分； 2、 Ch...

赞(0)princeFlink 深入 阅读(189)

1. CDC简介 1.1. 什么是CDC CDC是 Change Data Capture（变更数据获取） 的简称。 核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、 更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到...

赞(0)princeFlink 深入 阅读(170)

1. FlinkSQL整合Hive介绍 官网介绍：Apache Flink 1.12 Documentation: Hive 知乎案例：Flink集成Hive之快速入门--以Flink1.12为例 - 知乎 使用Hive构建数据仓库已经成为...

赞(0)princeFlink 深入 阅读(232)

1. 文件写入介绍 官网介绍：Apache Flink 1.12 Documentation: File Sink 新的Data Sink API (Beta) 之前发布的 Flink 版本中[1]，已经支持了 source connect...

赞(0)princeFlink 深入 阅读(191)