diff --git a/README.md b/README.md index f3872ce..983cfde 100644 --- a/README.md +++ b/README.md @@ -1,5 +1,5 @@ ## 声明 -本parcel是fork下 https://github.com/gaozhangmin/flink-parcel 来修改,感谢作者的贡献,由于本人是基于CDH5.14下操作,并修改部分内容,亲测可以集成到CDH中运作。 +本parcel是fork下 https://github.com/pkeropen/flink-parcel(它fork 来自 https://github.com/gaozhangmin/flink-parcel) 来修改,感谢作者的贡献,由于本人是基于CDH6.2.1 下操作,并修改部分内容,亲测可以集成到CDH中运作。 ## 导读 CDH除了能够管理自生所提供的一些大数据相关服务外,还允许将第三方服务添加到CDH集群(托管在CDH上)。你需要做的就是按照一定的规则流程制作相关程序包,最后发布到CDH上。虽然过程并不困难,但是手动操作尤其是一些关键配置容易出错,往往导致最终服务无法正常在CDH上安装运行。 @@ -14,11 +14,11 @@ CDH除了能够管理自生所提供的一些大数据相关服务外,还允 文件名称格式为三段,第一段是包名,第二段是版本号,第三段是运行平台。 -例如:FLINK-1.9.1-bin-scala_2.12-el7.parcel +例如:FLINK-1.12.7-bin-scala_2.11-el7.parcel **包名**:FLINK -**版本号**:1.9.1-bin-scala_2.12 +**版本号**:1.12.7-bin-scala_2.11 **运行环境**:el7 @@ -37,36 +37,38 @@ csd的jar包必须置于/opt/cloudera/csd/目录才可以在添加集群服务 ## flink-parcel制作过程 -以CDH5.14、FLINK1.9.1为例 +以CDH6.2.1、FLINK1.12.7为例 (1)**下载制作包** ``` -git clone https://github.com/pkeropen/flink-parcel.git +git clone https://github.com/ElapsedSoul/flink-parcel.git ``` (2)**修改配置文件** flink-parcel.properties ``` #FLINK 下载地址 -FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz +FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.11.tgz + #flink版本号 -FLINK_VERSION=1.9.1 +FLINK_VERSION=1.12.7 #扩展版本号 -EXTENS_VERSION=BIN-SCALA_2.12 +EXTENS_VERSION=BIN-SCALA_2.11 #操作系统版本,以centos为例 OS_VERSION=7 #CDH 小版本 CDH_MIN_FULL=5.2 -CDH_MAX_FULL=5.15 +CDH_MAX_FULL=6.3.2 #CDH大版本 CDH_MIN=5 -CDH_MAX=5 +CDH_MAX=6 + ``` diff --git a/build.sh b/build.sh index 20e3fda..d923328 100644 --- a/build.sh +++ b/build.sh @@ -64,6 +64,7 @@ function build_flink_parcel { cp -r flink-parcel-src/flink-master.sh ${flink_parcel_folder}/lib/${flink_service_name_lower}/bin/ cp -r flink-parcel-src/flink-worker.sh ${flink_parcel_folder}/lib/${flink_service_name_lower}/bin/ cp -r flink-parcel-src/flink-yarn.sh ${flink_parcel_folder}/lib/${flink_service_name_lower}/bin/ + cp -r flink-parcel-src/lib/*.jar ${flink_parcel_folder}/lib/${flink_service_name_lower}/lib/ sed -i -e "s/%flink_version%/$flink_parcel_folder/" ./$flink_parcel_folder/meta/flink_env.sh sed -i -e "s/%VERSION%/$FLINK_VERSION/" ./$flink_parcel_folder/meta/parcel.json sed -i -e "s/%EXTENS_VERSION%/$EXTENS_VERSION/" ./$flink_parcel_folder/meta/parcel.json diff --git a/flink-parcel-src/flink-yarn.sh b/flink-parcel-src/flink-yarn.sh index 8645365..3930dbb 100755 --- a/flink-parcel-src/flink-yarn.sh +++ b/flink-parcel-src/flink-yarn.sh @@ -14,7 +14,7 @@ out=$FLINK_LOG_DIR/flink-yarn.out log_setting="-Dlog.file="$log" -Dlog4j.configuration=file:"$FLINK_CONF_DIR"/log4j-yarn-session.properties -Dlogback.configurationFile=file:"$FLINK_CONF_DIR"/logback-yarn.xml" # Rotate log files -rotateLogFilesWithPrefix "$FLINK_LOG_DIR" "$FLINK_LOG_PREFIX" +# rotateLogFilesWithPrefix "$FLINK_LOG_DIR" "$FLINK_LOG_PREFIX" CLASS_PATH=`manglePathList $(constructFlinkClassPath):$INTERNAL_HADOOP_CLASSPATHS` #CLASS_PATH=`manglePathList $(constructFlinkClassPath):$(hadoop classpath)` #CLASS_PATH=$(echo "${CLASS_PATH}" | sed "s#"$FLINK_HOME"/lib/slf4j-log4j12-1.7.7.jar:##g") diff --git a/flink-parcel-src/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar b/flink-parcel-src/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar new file mode 100644 index 0000000..a7b50b0 Binary files /dev/null and b/flink-parcel-src/lib/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar differ diff --git a/flink-parcel.properties b/flink-parcel.properties index 324628d..5351ada 100644 --- a/flink-parcel.properties +++ b/flink-parcel.properties @@ -1,19 +1,20 @@ #FLINK 下载地址 -FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz +FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.11.tgz + #flink版本号 -FLINK_VERSION=1.9.1 +FLINK_VERSION=1.12.7 #扩展版本号 -EXTENS_VERSION=BIN-SCALA_2.12 +EXTENS_VERSION=BIN-SCALA_2.11 #操作系统版本,以centos为例 OS_VERSION=7 #CDH 小版本 CDH_MIN_FULL=5.2 -CDH_MAX_FULL=5.15 +CDH_MAX_FULL=6.3.2 #CDH大版本 CDH_MIN=5 -CDH_MAX=5 +CDH_MAX=6