Flink

发布时间 2023-07-04 06:54:00作者: rbcd

官网

https://flink.apache.org/
下载安装包
https://flink.apache.org/downloads.html
https://dlcdn.apache.org/flink/flink-1.15.3/flink-1.15.3-bin-scala_2.12.tgz
单机部署
解压后直接启动
/bin/start-cluster.sh
/bin/stop-cluster.sh
集群部署步骤
|   node01   |   node02    |   node03    |   node04    |
| :--------: | :---------: | :---------: | :---------: |
| JobManager | TaskManager | TaskManager | TaskManager |
安装包上传到node01节点
解压、修改配置文件
解压:tar -zxf flink-1.9.2-bin-scala_2.11.tgz

修改flink-conf.yaml配置文件
jobmanager.rpc.address: node01            #JobManager地址
jobmanager.rpc.port: 6123                 #JobManagerRPC通信端口
jobmanager.heap.size: 1024m               #JobManager所能使用的堆内存大小
taskmanager.heap.size: 1024m              #TaskManager所能使用的堆内存大小
taskmanager.numberOfTaskSlots: 2          #TaskManager管理的TaskSlot个数,依据当前物理机的核心数来配置,一般预留出一部分核心(25%)给系统及其他进程使用,一个slot对应一个core。如果core支持超线程,那么slot个数*2
rest.port: 8081                           #指定WebUI的访问端口

修改slaves配置文件
node02
node03
node04
同步安装包到其他的节点
同步到node02  scp -r flink-1.9.2 node02:`pwd`
同步到node03  scp -r flink-1.9.2 node03:`pwd`
同步到node04  scp -r flink-1.9.2 node04:`pwd`
node01配置环境变量
vim ~/.bashrc
export FLINK_HOME=/opt/software/flink/flink-1.9.2
export PATH=$PATH:$FLINK_HOME/bin
source ~/.bashrc
standalone集群启动、停止
start-cluster.sh
stop-cluster.sh
http://node01:8081/                             #可通过rest.port参数自定义端口