update to spark v4 (#325)

Author: ihiverlet

spark/Dockerfile

@@ -5,10 +5,10 @@ LABEL maintainer="InseeFrLab <innovation@insee.fr>"
 
 ARG BASE_IMAGE
 
-ENV JAVA_VERSION="17"
+ENV JAVA_VERSION="21"
 ENV JAVA_HOME="/usr/lib/jvm/java-${JAVA_VERSION}-openjdk-amd64"
 
-ARG SPARK_VERSION="3.5.7"
+ARG SPARK_VERSION="4.0.1"
 ENV SPARK_VERSION=${SPARK_VERSION}
 
 ENV HADOOP_HOME="/usr/local/lib/hadoop"

spark/scripts/install-spark-hadoop-hive.sh

@@ -1,8 +1,8 @@
 #!/bin/bash
 set -e
 
-HADOOP_VERSION="3.4.1"
-HIVE_VERSION="2.3.9"
+HADOOP_VERSION="3.4.2"
+HIVE_VERSION="2.3.10"
 HIVE_LISTENER_VERSION="0.0.3"
 
 SPARK_BUILD_S3_BUCKET="https://minio.lab.sspcloud.fr/projet-onyxia/build"