prince的文章

Environment(执行环境) --> Source(数据源) --> Transform(转换操作) --> Sink(输出) 创建环境之后，就可以构建数据处理的业务逻辑了，如上所示，下面主要学习Flink的源算子（...

赞(0)princeFlink 教程 阅读(216)

执行环境（Execution Environment） Flink 程序可以在各种上下文环境中运行：可以在本地 JVM 中执行程序，也可以提交到远程集群上运行。 不同的环境，代码的提交运行的过程会有所不同。这就要求在提交作业执行计算时， 首...

赞(0)princeFlink 教程 阅读(189)

1.程序与数据流 （DataFlow） 所有的Flink程序都是由三部分组成: Source Transformation 和 Sink（输入、转换、输出） Source负责读取数据源，Transformation利用各种算子进行处理加工，...

赞(0)princeFlink 教程 阅读(178)

1.系统架构 1.1 整体构成 1.2 作业管理器（JobManager） 控制一个应用程序执行的主进程，是Flink集群中任务管理和调度的核心 JobMaster 是JobManager中最核心的组件，负责处理单独的作业（Job） 在提交...

赞(0)princeFlink 教程 阅读(190)

1.环境配置 系统环境为 CentOS 7.5 版本。 安装 Java 8。 安装 Hadoop 集群，Hadoop 建议选择 Hadoop 2.7.5 以上版本。 配置集群节点服务器间时间同步以及免密登录，关闭防火墙。 自己配置设置如下：...

赞(0)princeFlink 教程 阅读(191)

1、IDEA创建Maven项目添加如下依赖 pom.xml <properties> <maven.compiler.source>18</maven.compiler.source> <maven...

赞(0)princeFlink 教程 阅读(190)

1、Flink是什么？ Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算 （官网解释） 用松鼠logo的原因:希望这个项目（Flink）能做到快速灵活的大数据的处理 ，Flink在德语里面表示 快速 ...

赞(0)princeFlink 教程 阅读(226)

Redis 事务实现和乐观锁 1. 事务的介绍 Redis事务（transaction）提供了以下五个命令，用于用户操作事务功能，其分别是： 命令 功能 MULTI 标记一个事务块的开始 DISCARD 放弃执行事务 EXEC 执行事务中的...

赞(0)princeRedis 源码解析 阅读(224)

Redis 故障转移流程和原理 1. 故障转移介绍 Redis集群自身实现了高可用。高可用首先要解决集群部分失败的场景：当集群内少量节点出现故障时通过自动故障转移保证集群可以正常对外提供服务。接下来就介绍故障转移的细节，分析故障检测和故障转...

赞(0)princeRedis 源码解析 阅读(205)

Redis Cluster 集群伸缩原理源码剖析 1. Redis 集群伸缩教程 Redis提供了灵活的节点扩容和收缩方案。在不影响集群对外服务的情况下，可以为集群添加节点进行扩容也可以对下线节点进行缩容。 如何进行Redis Cluste...

赞(0)princeRedis 源码解析 阅读(190)