Nginx独立部署Hexo(一)

tips
, , ,

因为之前的SSD更换资料丢失原因, 许多hexo的文章也丢了, 这次借着换云主机(VPS)就重写一下关键的hexo部署

顺便可以加深对gitpage机制的理解. 另外如果是主机迁移推荐使用Docker打包好, 这样一键迁移 Nginx 相关再也无需配置

0x00. 环境准备

首先需要对Git服务有个比较好的了解, 包括.git的文件大致作用, git hook原理,以及Linux的用户组SSH生成/权限,nginx基本使用,安装git/nginx环境等. 这里就不说明了, 请自行查阅. 后面默认已了解这些前置知识. (不单独说什么生成公私钥之类)

就算只是简单理解这些原理,你hexo部署上出了什么问题,也都比较快的定位(papa).

下面说一下核心的部署思路, 再来动手, 我们根本需要是让hexo 能独立部署在我们自己的服务器上, 然后对外提供访问, 两条路:

  1. 原生搭建环境, 主要需要 git + nginx , 优点是写好文档简单好上手, 缺点是每次需要重新部署. 修改配置, 安全性低
  2. 使用Docker容器化封装, 优点是一键迁移, 安全性高. 缺点是构建镜像有较高的成本.

然后两种方式我都尝试一下吧, 因为 git/nginx 都是典型的无状态应用, 所以更倾向于使用 Docker 来构建, 当然自己部署网站, 性能和安全性自然也是很需要考虑的事, 包括后续启用的HTTP2等

更新: 考虑到海外 VPS 访问速度可能很不友好, 目前更新为双线部署, 然后 DNS 解析的时候自动区分国内/外, 以及负载均衡 (但是这样国内服务器 80 默认需要单独备案, 否则会被云厂商 ban 掉, 443 能活多久也不好说, 请特别注意这个问题.)

0x01. 自建git仓库

为什么要配置一个git 仓库呢? 因为我们 hexo 的生成的html文件, 本质是传输到 git 仓库上做版本控制的, 然后再给前端去渲染展示, 所以每次hexo deploy就是执行git push 文件到这个指定仓库, 具体步骤如下:

  1. 创建一个专属git用户.(这步不建议省. 不建议直接用root, 不安全)

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    # 初始化 git 用户
    adduser git

    # 1. 切换git用户, 然后创建~/.ssh文件夹, 修改默认权限
    su - git
    mkdir .ssh && chmod 700 .ssh

    # 2. 创建 auth 文件, 修改默认权限
    touch .ssh/authorized_keys && chmod 600 .ssh/authorized_keys

    # 3. 修改默认的ssh端口为五位数, 并禁止密码/root登录(必须)
    # 可从[Masscan常扫端口](https://paper.seebug.org/1052/#top)
    # 比如改成51234, 然后
    sed -i 's/^.*Port.*/Port 51234/g' /etc/ssh/sshd_config \
    && sed -i 's/^.*PasswordAuthentication.*/PasswordAuthentication no/g' /etc/ssh/sshd_config \
    && sed -i 's/^.*PermitRootLogin.*/PermitRootLogin yes/g' /etc/ssh/sshd_config \
    # 允许root登录可选, 我觉得可以允许, 目前设置的yes, 拒绝设置no

    # 3.2 切换回root (多开一个terminal)
    # 下面都用root执行
    # ubuntu记得开放新的端口
    ufw allow 51234/tcp

    # 4. 在root权限下,关闭git的shell权限,以及禁止密码登录 (必须)
    vi /etc/passwd
    # 修改git的一行为如下,就是修改了原本的bash为git-shell.
    git:x:1000:1000:,,,:/home/git:/usr/bin/git-shell
    # 成功设置后, 你直接用git用户ssh登录会提示如下
    fatal: Interactive git shell is not enabled.

    # 注: 如果你发现修改后无法ssh验证通过, 可尝试使用↓, 或者不关闭ssh权限.
    git:x:1000:1000:,,,:/home/git:/usr/sbin/nologin

  2. 添加你本机PC到服务器的SSH认证

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    # 1. 建议通过命令传输追加, 更稳妥(不过建议第二次开始用)
    ssh-copy-id -i ~/.ssh/hexo.pub -p port git@serverIP

    # 1.2 也可以手动去添加, 比较原生, 但是不建议vi然后复制(容易出错)
    echo "publicKeyxxx" >> .ssh/authorized_keys

    # 2. VPS主机验证是否添加
    cat /home/git/.ssh/authorized_keys

    # 2.1 重启ssh服务
    systemctl restart sshd # ssh

    # 2.2 本地PC验证ssh是否联通
    ssh -T -p port git@serverIP

  3. 测试SSH正常后,关闭git用户ssh的shell权限. 然后初始化一个git仓库比如/var/repo/hexo.git

    1
    2
    3
    4
    5
    6
    7
    8
    9
    # 1. 创建git仓库目录,和钩子文件(原本post-receive可能不存在)
    mkdir /var/repo && cd /var/repo && git init --bare hexo.git

    # 2. 写入钩子内容, 然后给执行权限(必要)
    vi hexo.git/hooks/post-receive # 内容见4
    chmod +x hexo.git/hooks/post-receive && chown -R git:git hexo.git

    # 3. 创建fe目录 (nginx访问)
    mkdir -p /var/www/hexo && chown -R git:git /var/www/hexo && chmod -R 755 /var/www/hexo

  4. 最后在.git/hooks/post-receive 写了个临时的脚本,简单说就是两个杯子换水的办法, 引入中介.最后chmod +x post-receive 加执行权限. 以及修改git仓库和网站目录用户组权限. (钩子内容如下)

1
2
3
4
5
6
7
8
9
10
11
12
13
#!/bin/bash
# ############ Ubuntu写法,这是git自支持的钩子命令/函数 (cent的不要复制, 可能无效)#############
git --work-tree=/var/www/hexo --git-dir=/var/repo/hexo.git checkout -f

##################Cent下写法#####################
# Cent7.4下之前测试是不支持的.需要手动(如新版支持请告知一声)
git_path=/var/repo/hexo.git #自建的git仓库
nginx_path=/var/www/hexo #前端渲染的文件
temp=/tmp/hexo #临时区
rm -rf $temp
git clone $git_path $temp
rm -rf ${nginx_path}/*
cp -rf ${temp}/* $nginx_path

2021.4更新: 首先, 看到不少同学人云亦云的去修改/etc/sudoers 给 git 用户加上免密root权限, 说是因为后续部署会提示没权限, 当然是不需要且非常不合理的做法, 请勿使用..

0x02.配置Nginx + HTTPS

Nginx的结构比较经典的主从, 一个master进程和多个worker进程搭配, 默认这些进程都是单线程的.master负责处理配置, 管理woker, 写日志等;而worker自然是工作的小兵, 处理client发来的请求. 所以它有不少的配置优化点

2021.4更新: 如果每年会迁移一次服务器的话, 建议还是容器化 Nginx 到私库, 然后自己可以一键迁移, 如果手动, 请务必保存文件到本地文件夹汇总

1. 配置Ngingx

1
2
3
4
5
6
# Ubuntu安装必备软件
apt remove -y apache2 # 如果有请先卸载
apt install -y nginx # lrzsz 如果没有也装

# 设置开机自启
systemctl enable nginx

然后默认 nginx 采用的配置方式是: 公用配置文件 + 私有配置文件(优先级更高), 也推荐这样使用, 好处是多个应用不耦合, 关系清晰

先配置一下公用的配置文件/etc/nginx/nginx.conf, 这里设置一系列通用的nginx优化项, 对网站性能/安全影响最明显, 有些配置和私有重复是因为怕私有漏写了.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
user www-data;
worker_processes auto; # nginx工作进程数
pid /run/nginx.pid;
include /etc/nginx/modules-enabled/*.conf;

events {
    worker_connections 768;
    multi_accept on; # 允许worker经常一次建立多个连接, 默认1个
    use epoll; # 使用epoll的I/O模型异步处理事件
}

http {

    # Basic Settings
    # 性能优化
    sendfile on;
    tcp_nopush on; 
    tcp_nodelay on;
    types_hash_max_size 2048;
    # server_names_hash_bucket_size 64;
    # server_name_in_redirect off;

  # 这里引入了大量的http文件类型对应的全称, 理论上后面gzip压缩就不需要写全名了
  include /etc/nginx/mime.types;
  default_type application/octet-stream;

  # Logging Settings
  # 日志记录所有访问信息和错误信息
  access_log /var/log/nginx/access.log;
  error_log /var/log/nginx/error.log;

  # Gzip Settings (核心)
  # 这还有一个gzip_static模块,就是在本地生成静态gz文件避免重复压缩.
  # 需要单独编译构建,默认一般不带, 暂未使用
  gzip on; # 强烈建议打开

  # 默认情况nginx只压缩text/html的请求,其他必须手动指定(建议)
  # text/html无需单独指定,默认也会带入
  gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript application/octet-stream image/png image/svg+xml;
  gzip_comp_level 6; # 默认1最快,9最慢
  gzip_buffers 32 4k; # 默认是4 4k/8k,代表以4k/8k为单位4倍去申请内存(1次申请32k?)
  gzip_min_length 1024; # 设置页面压缩最小字节,默认是全压缩或20字节,建议调为1k以上才压
  gzip_vary on;
  gzip_disable       "msie6";
  # gzip_proxied any; # 作为反向代理启用,详参官方
  # gzip_http_version 1.1; # http协议版本,非HTTP2不用调整,默认1.1

  # Cache settings (本地磁盘缓存, 说实话没太搞明白意义多少, 不应该在内存中才对么...)
  proxy_cache_path /data/nginx/cache levels=1:2 keys_zone=imba:100m inactive=5d max_size=3g;
  proxy_temp_path   /data/nginx/temp_cache;
  proxy_cache_key   $host$uri$is_args$args; # 默认值,也可以是包括cookies信息,需注意
  proxy_ignore_headers X-Accel-Expires Expires Cache-Control Set-Cookie;

  ## Safety settings
  server_tokens off;
  # 避免缓冲区溢出攻击, 会影响缓存大小, 所以默认关闭
  #client_body_buffer_size  1K;
  #client_header_buffer_size 1k;
  #client_max_body_size 1k;
  #large_client_header_buffers 2 1k;
  # 设置超时限制DDOS攻击
  keepalive_timeout     25;
  client_body_timeout   12s;
  client_header_timeout 12s;
  send_timeout          12s;
  # 限制用户连接数来预防DOS攻击
  limit_conn_zone $binary_remote_addr zone=perip:10m;
  limit_conn_zone $server_name zone=perserver:10m;
  # 限制同一ip最大并发连接数
  limit_conn perip 10;
  # 限制同一server最大并发连接数
  limit_conn perserver 20;
  #limit_conn slimits 5; 
    # SSL Settings
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE
    ssl_prefer_server_ciphers on;

    # 导入单独的服务配置
    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/sites-enabled/*;
    
}
####End File###

# 测试一下配置是否OK (提示successful)
mkdir -p /data/nginx/cache && /usr/sbin/nginx -t

正向代理隐藏真实客户端，反向代理隐藏真实服务端

2. HTTPS访问 + 安全策略

这里顺便配置一下CA证书实现 https + http2 + http 兼容访问, 以腾讯云/网易云这种免费1年解析为例(到期一键续期), 虽然他们不支持泛解析二级域名, 但是你无需申请两个SSL证书, 比如imbajin.com 和www.imbajin.com ,自己做个转发/重定向. www也会默认使用顶级域名的证书.

当然建议使用Docker容器的nginx去运行.然后顺便把之前的步骤包到容器内(就像gogs的docker版一样.) 之后补充. 配置主要如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
# vi /etc/nginx/sites-available/default # Ubuntu下默认apt安装路径
# vi /etc/nginx/conf.d/xx.conf # Cent下路径
# 证书文件对(2/4个)放/etc/nginx下

### Start of file

# https for imbajin.com
server {
        listen 443 ssl http2 fastopen=3 reuseport;
        server_name imbajin.com; #填写绑定证书的域名

        ssl_certificate imbajin.com_bundle.crt; # 默认读取nginx根路径
        ssl_certificate_key imbajin.com.key;
        # 移除 TLSv1/1.1支持, 安全起见不再考虑兼容 XP或远古浏览器
        ssl_protocols TLSv1.2 TLSv1.3;
        ssl_ciphers EECDH+CHACHA20:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;
        ssl_prefer_server_ciphers on;
        # 以下优化SSL性能
        ssl_session_cache shared:SSL:60m;
        ssl_session_timeout 1d;
        ssl_session_tickets on;
        ssl_stapling on;
        ssl_stapling_verify on;

        # 安全优化
        server_tokens off; # 避免版本信息泄漏
        # 禁止非必要方法,避免泄漏信息
        if ($request_method !~ ^(GET|HEAD|POST|OPTIONS)$ ) {
          return 444;
        }

        root   /var/www/hexo; # 站点目录
        index  index.html index.htm;
        error_page 401 403 404 500 https://$host;
        
        # 匹配所有的20开头的文章页面, 视情况转换为http访问 (避免被强制https)
        location ~ ^/20* {
            # 浏览器内核不是ChromeV30~V79的范围, 则都跳转为http以兼容图片资源
            #if ($http_user_agent !~* "Chrome\/[3-7][0-9]") {
            # 测试重定向时是否能添加响应头 (未生效) add_header 'test'
            return 301 http://$host$request_uri;
          #}
        }

        # 反向代理方式 (不推荐, 弊端很大) 
        # 效果是访问 https://xx/img/a.png 会在nginx端自动去请求 http://img.abc.cn/a.png
        # 注意: 这样做会导致七牛CDN废掉, 并且所有原始图片URL需要全部替换
        
        #location /img/ {
        #    proxy_pass http://img.abc.cn/;
        #}

        # 单独处理少数资源, 避免跨域资源被ban 
        location ~ (/lib/|/live2dw/|/images/|/css/|/js/|/ico/) {
            add_header 'Access-Control-Allow-Credentials' 'true';
            add_header 'Access-Control-Allow-Origin' '*' always;
            break;
        }

        #location ~ .*\.(ttf|moc|mtn|json|css|js|jpg|jpeg|png|ico|webp|xml|gif)$ {
        # resolver                  127.0.0.1;
        #proxy_ssl_server_name  on;
        # proxy_pass            https://$host;
        # proxy_pass            https://imbajin.com:443;
        # proxy_redirect        off;
        #proxy_cache imba;
        #proxy_cache_valid          200 304 3d;
        #proxy_cache_valid          301 302 30d;
        #proxy_cache_lock          on;
        #proxy_cache_lock_timeout  5s;
        #proxy_cache_use_stale     updating error timeout invalid_header http_500 http_502;
        #expires 120d;
        # 测试是否命中缓存
        # add_header cache_hit "This request hit the cache";
        #}
        
        # nginx客户端缓存这块存疑, 暂时不开启
        # 配置client(浏览器)缓存规则
        # location ^~ /static/ {
        #   root             /var/www/hexo;
        #   add_header       Access-Control-Allow-Origin *;      
        #   expires          max;
        # }
    }

# 默认HTTP-80端口访问跳转HTTPS
server {
    listen 80;
    #server_name imbajin.com;

    server_tokens off; # 避免版本信息泄漏
    if ($request_method !~ ^(GET|HEAD|POST|OPTIONS)$ ) {
        return 444;
    }

   root   /var/www/hexo; # 站点目录
   error_page 401 403 404 500 https://$host;
    
     # 普通页面和首页跳转为https (匹配字母开头的路径)
     location ~ ^/[a-zA-Z] {
         try_files $uri $uri/ =404;
         # 推荐使用return写法, 更易读也直观 (性能更好?)
         return 301 https://$host$request_uri;
         # 等同于# rewrite  ^/(.*)$ https://$host/$1 permanent;
    }
}


# (Not needed now!) https for cdn-source-website only
# server {
#   listen 443 ssl;
#   server_name img.imbajin.com;
#   #ssl on;
#   ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
#         ssl_certificate 1_img.imbajin.com_bundle.crt; # 2nd ssl
#         ssl_certificate_key 2_img.imbajin.com.key;

#   location / {
#       proxy_pass http://img.xx.cn/;
#       }   
#}

### End File ###

# 重启 /usr/sbin/nginx -s reload 应用新配置

特别注意 : 因为这样做重定向是一个死循环, 所以网页必须先存在, 否则你直接访问空的页面, 会不断进行调整.

然后如果更换了主机IP, 记得同时更换域名解析里的@-A记录. 以及www-A 记录. (10min内生效)

3. Hexo配置

最后更换hexo 配置文件的地址, 当然我强烈建议使用config 给一个别名, 然后无需替换任何字符, 只需要修改config文件就行. (这样方便复用)

1
2
3
4
5
#配置例如
deploy:
- type: git
  repo: hexo:/var/repo/hexo.git
  branch: master

最后建议清理一次, hexo clean && hexo g -d 测试一下, 不行开启hexo deploy --debug 看看细节(为了避免第一次初始化太慢, 建议先参考QA清理一次记录.) 如果实在太大, 也可以拷贝之前机器的目录:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 方法1: 推荐优先尝试 (网络正常情况)
# 1. 进入本地的.deploy_git`文件夹, 把现有文章对应的git提交做一次gc
git gc --prune=now

# 2. 尝试部署, 成功则可以跳过后续做法
hexo d  # 先不用hexo g -d


## 方法2: 虽然大部分情况你重新push一份就可以了, 但是由于网络的关系
## 你也可以直接把已有的传到新机器, 这样初始化会快很多 (可选)

# 1. 备份旧机器上的git仓库 /var/repo
tar czvf hexo.git.tgz hexo.git/ #(可选) 也可以直接发文件夹
# 2. 备份旧机器上的html文件 /var/www
tar czvf hexo.tgz hexo

# 3. 添加ssh验证
ssh-keygen -t rsa # 然后sz .ssh/id_rsa.pub到新机器的.ssh下
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
scp -P serverPort -r hexo.git/ git@serverIP:/tmp # 直接发文件夹

# 4.全部工作做完记得重启sshd生效
# 记得先确认ufw开放端口, 不然就悲剧了
ufw status

service sshd restart

图简单可以直接使用最新的Nginx官方镜像docker pull nginx. (当然如果追求极致可使用极简版自行diy)

0x03.监控报警(可选)

因为其实很多云主机绝大部分资源都是空闲的,为了提高系统完善性,加个基本的监控+报警的定时任务我觉得还是可行的,毕竟这些以后很多地方用的上,建议早用积累shell经验.

因为默认http访问会触发301重定向,所以判断80/443端口的可用性,还不能单纯的使用http状态码.

待补…

0x04. HTTP2/3

HTTP2从性能, 安全性等方面都相对HTTP1做了很大的改变, 自然是个很大的变动, 以前没有启用是考虑到一系列的兼容和稳定性/支持原因.

现在时机也成熟了, 之后会考虑在新版Nginx开启HTTP2. nginx1.18 之后也默认自带了 http2模块, 无需手动编译, 你可以通过/usr/sbin/nginx -V | grep http_v2 来确认是否开启.

虽然一直很懒, 2022年也终于开启了 HTTP2 的支持, 配置文件相关更新如下, 不过由于网站混杂了一些 http, 所以要特别注意, 因为现在绝大部分默认的 HTTP2 都是需要和 https 绑定的, 这样一旦切换到 http, 就会 HTTP2 报错

意事项

1
2
3
4
5
6
# https for imbajin.com
server {
        # http2 直接加入后面即可, 非常简单
        listen 443 ssl http2 fastopen=3 reuseport;
        ...
}

这里涉及到一些内核参数的优化, 但是我目前没搞清楚原理, 先不急着调, 默认是/etc/sysctl.conf, BBR也会在这记录

1
2
3
4
5
6
7
8
9
10
11
#如果想把timewait降下了就要把tcp_max_tw_buckets值减小，默认是180000
net.ipv4.tcp_max_tw_buckets = 5000

#开启重用功能，允许将TIME-WAIT状态的sockets重新用于新的TCP连接
net.ipv4.tcp_tw_reuse = 1

#系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。如果超过这个数字，孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS攻击
net.ipv4.tcp_max_orphans = 262144

#当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时。我们可以调短时间跨度
net.ipv4.tcp_keepalive_time = 30

未完待续, 也许等HTTP3普及一些再换2?

0x0n.QA

首先注意自建Git服务可能有安全问题,注意git的版本(比如默认的很低,可能有漏洞).不然可能会构成git远程执行漏洞. 参考待补.

其次注意Nginx可能有一个比较蛋疼的缓冲区大小问题,详见我[GIT排错最后](../2018-05-25-Git-flow与常见问题#3.Hexo部署时提示The remote end hung up unexpectedly) . 其实后面我发现根本原因是因为hexo频繁推送使用后的.deploy_git/.git文件夹过大(500MB) . 为什么过大呢? 这个之后会在git排查文章里单独补充… 因为如果精确处理,还是很麻烦的.

简单可以直接到.deploy_git文件夹, 然后git gc --prune=now

不过最简单的办法就是你先把 .deploy 整个文件夹复制到另外的目录,让hexo重新生成一次,就是几乎全新的仓库历史了. hexo文章的更新历史其实也没什么用.你需要的时候再把之前备份的替换就行.

关于Chrome/Edge下强制HTTPS 静态资源和其它问题, 详见下一篇

参考资料:

  1. Mozilla-nginx配置
  2. 单机nginx优化
  3. imququ-nginx安全篇
  4. imququ-nginx性能篇
  5. imququ-nginx完整配置篇
  6. imququ-https的一些经验(一)
  7. Qiniu-CDN回源文档