星空健康频道: Flink的安装部署

2020年11月9日星期一

Flink的安装部署

一. Flink的下载

安装包下载地址，选择对应Hadoop的Flink版本下载

Flink 有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。

二. Local模式

对于 Local 模式来说，JobManager 和 TaskManager 会公用一个 JVM 来完成 Workload。如果要验证一个简单的应用，Local 模式是最方便的。实际应用中大多使用 Standalone 或者 Yarn Cluster，而local模式只是将安装包解压启动（./bin/start-local.sh）即可，在这里不在演示。

三. Standalone HA模式

Standalone模式顾名思义，是在本地集群上调度执行，不依赖于外部调度机制例如YARN, 一般需要配置为HA，防止Jobmanager突然挂掉，导致整个集群或者任务执行失败的情况发生。下面介绍一下Standalone HA模式的搭建安装

当Flink程序运行时，如果jobmanager崩溃，那么整个程序都会失败。为了防止jobmanager的单点故障，借助于zookeeper的协调机制，可以实现jobmanager的HA配置—-1主（leader）多从（standby）。这里的HA配置只涉及standalone模式，yarn模式暂不考虑。

本例中规划Jobmanager:hadoop01,hadoop02(一个active，一个standby)；Taskmanager：hadoop02，hadoop03；zookeeper集群

1. 集群部署规划

节点名称	master	worker	zookeeper
hadoop01	master	worker	zookeeper
hadoop02	master	worker	zookeeper
hadoop03		woker	zookeeper

2. 解压

[hadoop@hadoop01 apps]$ tar -zxvf flink-1.7.2-bin-scala_2.11.tgz -C ./

[hadoop@hadoop01 apps]$ ls
azkaban flink-1.7.2 flink-1.7.2-bin-scala_2.11.tgz flume-1.8.0 hadoop-2.7.4 jq kafka_2.11-0.11 zkdata zookeeper-3.4.10 zookeeper.out

3. 修改配置文件

配置masters文件

　　该文件用于指定主节点及其web访问端口，表示集群的Jobmanager，vi masters，添加master:8081

[hadoop@hadoop01 conf]$ vim masters hadoop01:8081
hadoop02:8081

配置slaves文件，该文件用于指定从节点，表示集群的taskManager。添加以下内容

[hadoop@hadoop01 conf]$ vim slaveshadoop01hadoop02hadoop03

配置文件flink-conf.yaml

#jobmanager.rpc.address: hadoop01high-availability:zookeeper        #指定高可用模式（必须）high-availability.zookeeper.quorum: hadoop01:2181,hadoop02:2181,hadoop03:2181 #ZooKeeper仲裁是ZooKeeper服务器的复制组，它提供分布式协调服务（必须）high-availability.storageDir:hdfs://192.168.123.111:9000/flink-metadata/recovery/  #JobManager元数据保存在文件系统storageDir中，只有指向此状态的指针存储在ZooKeeper中（必须）high-availability.zookeeper.path.root:/flink   #根ZooKeeper节点，在该节点下放置所有集群节点（推荐） high-availability.cluster-id:/flinkCluster   ＃自定义集群（推荐）
#检查点生成的分布式快照的保存地点，默认是jobmanager的memory，但是HA模式必须配置在hdfs上，且保存路径需要在hdfs上创建并指定路径

state.backend: filesystemstate.checkpoints.dir: hdfs://192.168.123.111:9000/flink-metadata/checkpointsstate.savepoints.dir: hdfs:///flink/checkpoints

4. 拷贝安装包到各节点

[hadoop@hadoop01 apps]$ scp -r flink-1.7.2/ hadoop@hadoop02:`pwd`
[hadoop@hadoop01 apps]$ scp -r flink-1.7.2/ hadoop@hadoop03:`pwd`

5. 配置环境变量

配置所有节点Flink的环境变量

[hadoop@hadoop01 ~]$ vim .bashrc
export FLINK_HOME=/home/hadoop/apps/flink-1.7.2
export PATH=$PATH:$FLINK_HOME/bin
[hadoop@hadoop01 ~]$ source .bashrc

6. 启动flink

[hadoop@hadoop01 bin]$ pwd
/home/hadoop/apps/flink-1.7.2/bin
[hadoop@hadoop01 bin]$ ls
config.sh flink-daemon.sh mesos-appmaster.sh pyflink-stream.sh start-cluster.sh stop-zookeeper-quorum.sh
flink historyserver.sh mesos-taskmanager.sh sql-client.sh start-scala-shell.sh taskmanager.sh
flink.bat jobmanager.sh pyflink.bat standalone-job.sh start-zookeeper-quorum.sh yarn-session.sh
flink-console.sh mesos-appmaster-job.sh pyflink.sh start-cluster.bat stop-cluster.sh zookeeper.sh
[hadoop@hadoop01 bin]$ ./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host hadoop01.
Starting taskexecutor daemon on host hadoop02.
Starting taskexecutor daemon on host hadoop03.

jps查看进程

7. WebUI查看

src="https://img2020.cnblogs.com/blog/1219616/202011/1219616-20201109135545748-657604937.png" alt="" width="1059" height="366" loading="lazy">

原文转载：http://www.shaoqun.com/a/489582.html

杨颜：https://www.ikjzd.com/w/1820

3suisses：https://www.ikjzd.com/w/412

cima：https://www.ikjzd.com/w/1372

一.Flink的下载安装包下载地址，选择对应Hadoop的Flink版本下载Flink有三种部署模式，分别是Local、StandaloneCluster和YarnCluster。二.Local模式对于Local模式来说，JobManager和TaskManager会公用一个JVM来完成Workload。如果要验证一个简单的应用，Local模式是最方便的。实际应用中大多使用Standalone或者
telegram：https://www.ikjzd.com/w/1734
优1宝贝：https://www.ikjzd.com/w/1507
鑫龙水上乐园桥头门票多少钱？广东鑫龙水上乐园包含什么项目？：http://tour.shaoqun.com/a/33776.html
跨境电商短视频营销，抖音创下中国互联网企业之最！：https://www.ikjzd.com/home/20547
当热门电影遭遇成人版美剧《生活大爆炸》XXX版_热门图片_美丽网：http://fashion.shaoqun.com/m/a/66696.html

星空健康频道