Docker多环境构建HDFS3

在之前HDFS分布式构建里, 完整的写了如何手动编译运行HDFS3的环境, 但是可以发现整个依赖和编译耗时还是比较繁杂的, 并且不同的系统环境问题也各不一样, 难以复用. 今天说一下用通用的容器(Dockerfile)方式如何构建HDFS3 (并且可以很好地融入CI/CD的流程里, 自动化编译-分发-测试部署)

0x00. 准备

在机器上准备好Docker环境, 包括替换默认.源(此略), 下载官方仓库提供的HDFS3.1.2对应的Dockerfile文件, 参考官方building使用说明, 我们先把前置准备做好

# 只下载指定的3.1.2版本代码, 已经很慢了:)
git clone -b release-3.1.2-RC0 https://github.com/apache/hadoop.git

# 切换到Dockerfile的目录, 后续替换一下Dockerfile(原因后说)
# 官方镜像文件没有带EC所需的依赖, 必须修改
cd hadoop-3.1.2/dev-support/docker

# 替换0x01更新后的Dockerfile后, 尝试构建镜像(优化后1.45G)
docker build -t hdfs3:0.1 .

# 确认之前编译的.m2环境存在, 并建议修改容器内mvn的源
# 或 修改pom.xml文件添加私库

特别注意:

• 不同版本对应的依赖和Dockerfile有所不同, 比如官方最新版已经采用了protobuf3.7而不是之前祖传的protobuf2.5, 所以不能混用
• 官方也提供自动构建运行的start-env脚本, 包括挂载目录等, 但是如果你需要定制化建议还是自己修改

0x01. 分析

因为HDFS3.1.2 的Dockerfile有点过时, 安装软件包后未及时清理, 比较臃肿, 参考最新的官方文件, 我更新了一些优化点, 所以建议替换默认的文件.

首先我们先来读懂官方的Dockerfile在做什么, 再说如何修改, 然后加入对EC功能的支持库isal:

FROM ubuntu:xenial

WORKDIR /root

# 0.环境准备
RUN echo APT::Install-Recommends "0"\; > /etc/apt/apt.conf.d/10disableextras
RUN echo APT::Install-Suggests "0"\; >>  /etc/apt/apt.conf.d/10disableextras
ENV DEBIAN_FRONTEND noninteractive
ENV DEBCONF_TERSE true

# 1.安装依赖的软件包(除java外) 结合新版Dockerfile优化
RUN set -x \
    && apt-get -q update \
    && apt-get -q install -y --no-install-recommends \
    apt-utils \
    build-essential \
    bzip2 \
    curl \
    doxygen \
    fuse \
    g++ \
    gcc \
    git \
    gnupg-agent \
    libbz2-dev \
    libcurl4-openssl-dev \
    libfuse-dev \
    libprotobuf-dev \
    libprotoc-dev \
    libsnappy-dev \
    libssl-dev \
    libtool \
    libzstd1-dev \
    locales \
    make \
    pinentry-curses \
    pkg-config \
    python \
    python2.7 \
    python-pip \
    python-pkg-resources \
    python-setuptools \
    python-wheel \
    rsync \
    software-properties-common \
    snappy \
    sudo \
    zlib1g-dev \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*

# 2.安装open-jdk8(优化后)
RUN apt-get -q update \
    && apt-get -q install -y --no-install-recommends openjdk-8-jdk libbcprov-java \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*

# 3. 安装cmake 3.1.0
RUN mkdir -p /opt/cmake && \
    curl -L -s -S \
      https://cmake.org/files/v3.1/cmake-3.1.0-Linux-x86_64.tar.gz \
      -o /opt/cmake.tar.gz && \
    tar xzf /opt/cmake.tar.gz --strip-components 1 -C /opt/cmake
ENV CMAKE_HOME /opt/cmake
ENV PATH "${PATH}:/opt/cmake/bin"

# 4.安装Protobuf 2.5.0
RUN mkdir -p /opt/protobuf-src && \
    curl -L -s -S https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz \
    -o /opt/protobuf.tar.gz && \
    tar xzf /opt/protobuf.tar.gz --strip-components 1 -C /opt/protobuf-src
RUN cd /opt/protobuf-src && ./configure --prefix=/opt/protobuf && make install
ENV PROTOBUF_HOME /opt/protobuf
ENV PATH "${PATH}:/opt/protobuf/bin"


# 5.优化安装Maven 3.3.9
RUN apt-get -q update \
    && apt-get -q install -y --no-install-recommends maven \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*
ENV MAVEN_HOME /usr


# 6.优化安装findbugs
RUN apt-get -q update \
    && apt-get -q install -y --no-install-recommends findbugs ant \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*
ENV FINDBUGS_HOME /usr

# 7.优化安装shellcheck
RUN add-apt-repository -y ppa:jonathonf/ghc-8.0.2 \
    && apt-get -q update \
    && apt-get -q install -y --no-install-recommends shellcheck \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*

# 8.优化安装bats
RUN apt-get -q update \
    && apt-get -q install -y --no-install-recommends bats \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*

# 9.安装低版本py2支持的pylint
RUN pip2 install pylint==1.9.2

# 10. 安装dateutil.parser
RUN pip2 install python-dateutil

# 11.优化安装node.js UI需要
RUN apt-get -q update \
    && apt-get install -y --no-install-recommends nodejs npm \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/* \
    && ln -s /usr/bin/nodejs /usr/bin/node \
    && npm install npm@latest -g \
    && npm install -g jshint

# 避免编译时OOM, 设置jvm内存限制
ENV MAVEN_OPTS -Xms256m -Xmx1536m

# 12.安装svn (for Apache Hadoop website)
# 高版本这里移除了, 暂时注释
#RUN apt-get -q update && apt-get -q install -y subversion \
#    && apt-get clean && rm -rf /var/lib/apt/lists/*

# 13.补充安装isal(EC依赖)
RUN apt-get -q update \
    && apt-get -q install -y --no-install-recommends nasm \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*
    
RUN mkdir -p /opt/isal \
    && curl -L -s -S https://github.com/intel/isa-l/archive/v2.28.0.tar.gz -o /opt/isal.tar.gz \
    && tar xzf /opt/isal.tar.gz --strip-components 1 -C /opt/isal \
    && cd /opt/isal \
    && make -f Makefile.unx \
    && cp bin/libisal.so* /usr/lib/x86_64-linux-gnu/ 

# 14.运行环境检查脚本, 显示欢迎界面 (结束)
ADD hadoop_env_checks.sh /root/hadoop_env_checks.sh
RUN chmod 755 /root/hadoop_env_checks.sh \
    && echo '~/hadoop_env_checks.sh' >> /root/.bashrc

0x02. CentOS版镜像

因为native 库在ubuntu 上打包存在不兼容Cent7/6的相关原因, 实际生产环境如果是用的Cent ,还是得单独用Cent的基础镜像, 并且以最低版本为基准, 因为高版一般可以向下兼容. 低版很可能不兼容高版 (Cent7的包Cent6就不能用)

那如果完全看懂了所有的编译步骤, 也具有一定的动手能力, 就应该尝试自己写出一个Cent6/7兼容的Docker镜像, 下面是我的个人写法: (适用于HDFS3.1.2, github下载地址)

FROM centos:6

# Default software in cent6 has low version
# Remove all slient mode because network maybe bad

WORKDIR /root

# Lack of (maybe used by tests)
# 1. python2.7 (now is 2.6.6)
# 2. findbugs & ant
# 3. shellcheck
# 4. svn (removed by official)
# 5. nodejs & npm (required by YANR-UI?)

# 1.安装依赖的软件包, 先添加新源, 否则默认缺失库
RUN set -x \
    && yum -q update -y \
    && yum install -y centos-release-scl scl-utils epel-release \
    && yum install -y \
    devtoolset-7-gcc \
    devtoolset-7-gcc-c++ \
    python27 \
    python-pip \
    git \
    doxygen \
    rsync \
    bats \
    ncurses-devel \
    nasm \
    m4 \
    sudo \
    java-1.8.0-openjdk-devel \
    bzip2-devel \
    fuse-devel \
    openssl-devel \
    snappy-devel \
    zlib-devel \
    libzstd-devel \
    && yum clean all  \
    && rm -rf /var/cache/yum
    
ENV JAVA_HOME "/usr/lib/jvm/java-1.8.0-openjdk.x86_64"
ENV PATH "${PATH}:/opt/rh/devtoolset-7/root/usr/bin"

# 2. 开启gcc & g++ V7, 手动安装cmake 3.1.0 (25M)
# 替换源加速下载, 必要需考虑修改hosts文件或再换源
RUN echo "source /opt/rh/devtoolset-7/enable" >> /etc/bashrc && \
    source /etc/bashrc && \
    mkdir -p /opt/cmake && \
    curl -SL https://github.com/Kitware/CMake/releases/download/v3.10.0/cmake-3.10.0-Linux-x86_64.tar.gz \
         -o /opt/cmake.tar.gz && \
    tar xzf /opt/cmake.tar.gz --strip-components 1 -C /opt/cmake && \
    rm -f /opt/cmake.tar.gz
ENV CMAKE_HOME /opt/cmake
ENV PATH "${PATH}:/opt/cmake/bin"

# 3. 手动安装autoconf2.69
RUN mkdir -p /opt/autoconf && \
    curl -SL http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz \
         -o /opt/autoconf.tar.gz && \
    tar xzf /opt/autoconf.tar.gz --strip-components 1 -C /opt/autoconf && \
    cd /opt/autoconf && \
    ./configure && \
    make && make install && \
    cp ./bin/autoconf /usr/bin && \
    rm -f /opt/autoconf.tar.gz


# 4. 手动安装Protobuf 2.5.0
RUN mkdir -p /opt/protobuf-src && \
    curl -SL https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz \
         -o /opt/protobuf.tar.gz && \
    tar xzf /opt/protobuf.tar.gz --strip-components 1 -C /opt/protobuf-src && \
    cd /opt/protobuf-src && ./configure --prefix=/opt/protobuf && \
    make install && rm -f /opt/protobuf.tar.gz
ENV PROTOBUF_HOME /opt/protobuf
ENV PATH "${PATH}:/opt/protobuf/bin"

# 5. 手动安装Maven 3.3.9
RUN mkdir -p /opt/maven && \
    curl -SL https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz \
         -o /opt/maven.tar.gz && \
    tar xzf /opt/maven.tar.gz --strip-components 1 -C /opt/maven && \
    rm -f /opt/maven.tar.gz
ENV MAVEN_HOME /opt/maven
ENV PATH "${PATH}:/opt/maven/bin"

# 6.安装低版本py2支持的pylint
RUN pip2 install pylint==1.9.2

# 7. 安装dateutil.parser
RUN pip2 install python-dateutil

# 8.安装isal(EC依赖) (RPM require GLIB_2.14)
# https://www.nasm.us/pub/nasm/releasebuilds/2.14.02/linux/nasm-2.14.02-0.fc27.x86_64.rpm
RUN mkdir -p /opt/nasm /opt/isal \
    && curl -SL https://www.nasm.us/pub/nasm/releasebuilds/2.14.02/nasm-2.14.02.tar.gz -o /opt/nasm.tar.gz \
    && tar xzf /opt/nasm.tar.gz --strip-components 1 -C /opt/nasm \
    && cd /opt/nasm && ./autogen.sh && ./configure && make && make install \
    && cp ./nasm /usr/bin \
    && rm -f /opt/nasm.tar.gz

RUN curl -SL https://github.com/intel/isa-l/archive/v2.28.0.tar.gz -o /opt/isal.tar.gz \
    && tar xzf /opt/isal.tar.gz --strip-components 1 -C /opt/isal \
    && cd /opt/isal && make -f Makefile.unx \
    && mv bin/*isa* /usr/lib64/ \
    && rm -rf /opt/*tar.gz 

# 9.优化安装node.js Yarn-UI可能需要, HDFS不需要 (且需改成Cent版)
# RUN apt-get install -y --no-install-recommends nodejs npm \
#     && ln -s /usr/bin/nodejs /usr/bin/node \
#     && npm install npm@latest -g \
#     && npm install -g jshint

# 避免编译时OOM, 设置jvm内存限制
ENV MAVEN_OPTS -Xms256m -Xmx1536m

# 9.运行环境检查脚本, 显示欢迎界面 (结束)
ADD hadoop_env_checks.sh /root/hadoop_env_checks.sh
RUN chmod 755 /root/hadoop_env_checks.sh \
    && echo '~/hadoop_env_checks.sh' >> /root/.bashrc

0x03. 运行编译

构建完成后, 尝试进入容器编译测试, 注意如果没有私有mvn仓库, 务必先修改默认的仓库地址(比如换成阿里云mvn).

# 构建镜像后我们要准备编译源码
# 所以我们应尽可能复用本地的.m2仓库,以及复用源码
USER_NAME=$(whoami) # 先执行
# --rm=true 参数可选
docker run -it \
           -v "/home/${USER_NAME}/hadoop-3.1.2:/root/hadoop-3.1.2" \
           -w "/root/hadoop-3.1.2" \
           -v "/home/${USER_NAME}/.m2:/root/.m2" --name hdfs0.1 hdfs:v0.1
           
# 如果发现挂载异常,用inspect查看mount是否正确 (!注意!)
docker inspect containerId 

# 0.先执行普通的编译测试 (测试环境使用, 无需特定Native)
mvn install -e -Pdist,native -Dtar -DskipTests -Dmaven.javadoc.skip=true

# 无报错后, 先检查一下当前的native状况, 期望全true, 但4依赖来自系统
./hadoop-dist/target/hadoop-3.1.2/bin/hadoop checknative

# 上面的打包没问题的话, 再带入压缩库打包(生产环境使用, 完整版)
# 1. 这是Ubuntu镜像下的打包命令 (Cent不可使用!)
mvn clean install -e -Pdist,native -Dtar -DskipTests -Dmaven.javadoc.skip=true \
                  -Drequire.snappy  -Drequire.zstd -Drequire.openssl -Drequire.isal \
                  -Dbundle.snappy -Dsnappy.lib=/usr/lib/x86_64-linux-gnu/ \
                  -Dbundle.zstd -Dzstd.lib=/usr/lib/x86_64-linux-gnu/ \
                  -Dbundle.openssl -Dopenssl.lib=/usr/lib/x86_64-linux-gnu/ \
                  -Dbundle.isal -Disal.lib=/usr/lib/x86_64-linux-gnu/ 
                     
# 2. 这是Cent6/7/8的打包命令 (Ubuntu不可用)
mvn clean install -e -Pdist,native -Dtar -DskipTests -Dmaven.javadoc.skip=true \
                  -Drequire.snappy  -Drequire.zstd -Drequire.openssl -Drequire.isal \
                  -Dbundle.snappy -Dsnappy.lib=/usr/lib64/ \
                  -Dbundle.zstd -Dzstd.lib=/usr/lib64/ \
                  -Dbundle.openssl -Dopenssl.lib=/usr/lib64/ \
                  -Dbundle.isal -Disal.lib=/usr/lib64/
                     
# 期望全true, 指定的4个依赖均来自打包文件夹内 (不依赖系统)
./hadoop-dist/target/hadoop-3.1.2/bin/hadoop checknative

# 如果验证全false说明打包环境跟当前运行环境有冲突, 切勿生产使用
# 如果部分false一般是ubuntu版本依赖库过高, 可用Cent的低版本替代(野)

然后以后带着这份Dockerfile, 就可以在任意的环境上愉快的编译完整的Hadoop的运行环境了, 而且可以确保打出来的包非常可靠.

注意: 如果要用此镜像编译更高版本HDFS, 请注意很可能需取消native编译, 否则C相关依赖会报错. (比如新引入的PMDK库)

0x04. 其他

1. 同样需要注意的是, 强烈建议在pom.xml中添加私有mvn仓库, 或至少添加阿里云等国内仓库, 否则构建速度会非常慢 (必须)
2. 如果不修改pom.xml, 则需要在构建镜像的时候最后添加一步用你自己添加过mvn仓库的setting 文件替换mvn默认配置
3. 将Docker镜像与Jenkins/K8s结合不是本文重心, 就暂时略过.

---

参考资料:

1. hadoop-github
2. dockerhub-hadoop-docker-cent6.5