526互联

Flink on Yarn安装部署

发布时间 2023-12-24 17:25:20作者: sober_zero

引言

Apache Flink 是一款用于大规模数据处理和分析的分布式流处理框架，它提供了高性能、容错性和灵活性，广泛应用于实时数据处理和批处理场景。Flink 的核心特性包括事件驱动、状态管理、窗口操作等，使其成为处理实时和离线数据的理想选择。

本文档将引导您在 YARN（Yet Another Resource Negotiator）上安装和部署 Flink，以便充分发挥其分布式计算的优势，并在大规模数据处理环境中实现高效的数据流处理。

简介

Apache Flink 是一个用于大规模数据处理和分析的分布式流处理框架。它支持事件驱动的流处理和批处理，以及高性能、容错性和灵活性的特性，使其在实时数据处理场景中备受欢迎。Flink 提供了丰富的 API 和生态系统，能够应对各种数据处理需求。

本文档将指导您在 YARN（Yet Another Resource Negotiator）上安装和部署 Flink。


1、系统要求

在开始安装之前，请确保系统满足以下要求：

• Java 8 或以上
• Hadoop 2.7.x 或以上
• YARN 安装并运行

2、准备工作

确保您已经获得了适用于您操作系统的 Flink 发行版，并已解压缩到您选择的目录。

tar -zxvf apache-flink-1.10.2.tar.gz -C /opt/

4、配置环境变量

修改/etc/profile 文件，设置Flink 环境变量，并使环境变量生效

vi /etc/profile

#FLINK_HOME
export FLINK_HOME=/opt/module/flink-yarn
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

source /etc/profile

5、启动Hadoop集群

Flink on Yarn模式基于Hadoop集群Yarn。

start-all.sh
jps

6、Per Job Cluster

开 启 Hadoop 集 群， 在 yarn 上 以 per job 模 式 运 行$FLINK_HOME/examples/batch/WordCount.jar

一个Job会对应一个集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作
业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。独享Dispatcher和
ResourceManager，按需接受资源申请；适合规模大长时间运行的作业。
每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之
后创建的集群也会消失。

测试

flink run -m yarn-cluster
/opt/flink/examples/batch/WordCount.jar --hostname master --port 22222

# 执行结果如下：
(a,5)
(action,1)
(after,1)
(against,1)
(all,2)
(and,12)
(arms,1)
(arrows,1)
(awry,1)
(ay,1)
(bare,1)
(be,4)
(bear,3)
(bodkin,1)
(bourn,1)
(but,1)
(by,2)
(calamity,1)
(cast,1)
(coil,1)
(come,1)
(conscience,1)
(consummation,1)
(contumely,1)
(country,1)
(cowards,1)
(currents,1)
(d,4)
(death,2)
(delay,1)
(despis,1)
(devoutly,1)
(die,2)
(does,1)
(dread,1)
(dream,1)
(dreams,1)
(end,2)
(enterprises,1)
(er,1)
(fair,1)
(fardels,1)
(flesh,1)
(fly,1)
(for,2)
(fortune,1)
(from,1)
(give,1)
(great,1)
(grunt,1)
(have,2)
(he,1)
(heartache,1)
(heir,1)
(himself,1)
(his,1)
(hue,1)
(ills,1)
(in,3)
(insolence,1)
(is,3)
(know,1)
(law,1)
(life,2)
(long,1)
(lose,1)
(love,1)
(make,2)
(makes,2)
(man,1)
(may,1)
(merit,1)
(might,1)
(mind,1)
(moment,1)
(more,1)
(mortal,1)
(must,1)
(my,1)
(name,1)
(native,1)
(natural,1)
(no,2)
(nobler,1)
(not,2)
(now,1)
(nymph,1)
(o,1)
(of,15)
(off,1)
(office,1)
(ophelia,1)
(opposing,1)
(oppressor,1)
(or,2)
(orisons,1)
(others,1)
(outrageous,1)
(pale,1)
(pangs,1)
(patient,1)
(pause,1)
(perchance,1)
(pith,1)
(proud,1)
(puzzles,1)
(question,1)
(quietus,1)
(rather,1)
(regard,1)
(remember,1)
(resolution,1)
(respect,1)
(returns,1)
(rub,1)
(s,5)
(say,1)
(scorns,1)
(sea,1)
(shocks,1)
(shuffled,1)
(sicklied,1)
(sins,1)
(sleep,5)
(slings,1)
(so,1)
(soft,1)
(something,1)
(spurns,1)
(suffer,1)
(sweat,1)
(take,1)
(takes,1)
(than,1)
(that,7)
(the,22)
(their,1)
(them,1)
(there,2)
(these,1)
(this,2)
(those,1)
(thought,1)
(thousand,1)
(thus,2)
(thy,1)
(time,1)
(tis,2)
(to,15)
(traveller,1)
(troubles,1)
(turn,1)
(under,1)
(undiscover,1)
(unworthy,1)
(us,3)
(we,4)
(weary,1)
(what,1)
(when,2)
(whether,1)
(whips,1)
(who,2)
(whose,1)
(will,1)
(wish,1)
(with,3)
(would,2)
(wrong,1)
(you,1)