分类目录归档：Linux

升级至 Ubuntu 22.04 后在某些情况下无法解析任何域名的问题

发表评论

Ubuntu 又瞎几把改。

如果你的机器用 /etc/network/interfaces配置 DNS 服务器的话，在升级至 Ubuntu 22.04 之后可能会遇到一个非常奇怪的现象：在系统运行一段时间之后，突然就无法解析任何域名，这个时候使用 nslookup 手动指定 DNS 服务器进行解析的话，又是好的。

这个情况应该是他们又瞎几把改了什么东西，使用了一个新配置文件 /etc/systemd/resolved.conf来管理 DNS。将这个文件中的 DNS=一行 uncomment 掉，写入 DNS 地址，再 # systemctl restart systemd-resolved即可。

 

 

 

如何在机械硬盘上打包大量小文件

发表评论

虽然 SSD 的 4k 性能远高于机械硬盘，但是可能也能有所帮助

设想这样一个场景，有一个文件夹下面存了几百万个小文件，然后想把这个文件夹复制到另一台有 SSD 的机器上进行处理，但是很不幸的是，这堆小文件存在机械硬盘上。

使用 tar 打包是一个办法，但是 tar 在 Linux 上默认遍历磁盘内容的时候并不会按照 inode 的顺序，以此引发的寻道时间就足够喝一壶的了，因此需要一个方法让 tar 按照 inode 的顺序读取这些文件。很不幸的是，tar 并没有提供这个选项，我们只能迂回一下达到目的：

$ cd /path/to/small/files/folder
$ ls -U -i | sort -k1,1 -n | cut -d' ' -f2- > ~/filelist # folder content sorted with inode
$ tar -I "zstd -19 -T0" -cvf /path/to/another/disk/archive.tar.zst -T ~/filelist

tar -T 让 tar 从 filelist 中读取文件列表并打包，这时候 tar 就可以按照我们给的顺序（inode）来进行打包了，-I 这里使用 zstd 压缩。

这个情况并没有处理文件夹下有多层子目录，里面小文件更多的情况。

一个奇怪的 interactive shell 和 systemd service 行为不一致的现象

发表评论

起因是我想 self-host 一个本身设计是用在 Github Pages 上的 jekyll 博客主题，大概流程是在本地用 jekyll serve 起来以后，用 nginx 挂反代上 https。到这一步其实都还好，但是吊诡的是，我在 shell 里面用 bundle exec jekyll liveserve 跑起来以后，把这个命令做成一个 systemd service 就会一直报错。行为是这样的：

Dec 11 13:10:22 WordPress jekyll[25228]:       Generating...
Dec 11 13:10:22 WordPress jekyll[25228]:        Jekyll Feed: Generating feed for posts
Dec 11 13:10:22 WordPress jekyll[25228]:   Liquid Exception: no implicit conversion of nil into String in /_layouts/default.html
Dec 11 13:10:22 WordPress jekyll[25228]: /var/lib/gems/2.5.0/gems/jekyll-github-metadata-2.13.0/lib/jekyll-github-metadata/client.rb:133:in `join': no implicit conversion of nil into String (TypeError)
Dec 11 13:10:22 WordPress jekyll[25228]:         from /var/lib/gems/2.5.0/gems/jekyll-github-metadata-2.13.0/lib/jekyll-github-metadata/client.rb:133:in `pluck_auth_method'
Dec 11 13:10:22 WordPress jekyll[25228]:         from /var/lib/gems/2.5.0/gems/jekyll-github-metadata-2.13.0/lib/jekyll-github-metadata/client.rb:46:in `build_octokit_client'
Dec 11 13:10:22 WordPress jekyll[25228]:         from /var/lib/gems/2.5.0/gems/jekyll-github-metadata-2.13.0/lib/jekyll-github-metadata/client.rb:26:in `initialize'
Dec 11 13:10:22 WordPress jekyll[25228]:         from /var/lib/gems/2.5.0/gems/jekyll-github-metadata-

...
Dec 11 13:10:18 WordPress jekyll[25224]:         from /var/lib/gems/2.5.0/gems/jekyll-3.9.0/exe/jekyll:15:in `<top (required)>'
Dec 11 13:10:18 WordPress jekyll[25224]:         from /usr/local/bin/jekyll:23:in `load'
Dec 11 13:10:18 WordPress jekyll[25224]:         from /usr/local/bin/jekyll:23:in `<main>'

之后由于 Liquid Exception，ruby 解释器就会退出，接着触发 systemd 的 restart。但奇怪的是，我在 shell 里面运行就从来不会遇到这个错误。经简单查询以后，这个 no implicit conversion of nil into String 的错误在 jekyll 里面非常常见，很多组件都有发生这个问题，尽管查看了很多 issue 但都帮助不大。

后来仔细观察命令行运行的输出以后，发现有 GitHub Metadata: No GitHub API authentication could be found. Some fields may be missing or have incorrect data. 这样一个报错。这个报错在 systemd 的 log 里面没有，因此我怀疑这两个是否为同一个错误。在这个错误的时候，我发现了这个 issue，评论中有人提到了这样的解决方案：在 _config.yml 中加一行 github: [metadata]，我试了一下，问题就得到了解决。

这就引出了另一个问题，为什么 jekyll 在 shell 下和 systemd 下的行为不一致。经查询之后，发现原因在于 systemd 和普通的 shell 在执行程序的时候使用的环境变量不一致，而在错误发生的 client.rb#L133 处需要引用 $HOME 这个环境变量，这个在 systemd 下是不存在的。因此如果想要解决这个问题，除了按照前文中的方法进行修正以外，还可以在 systemd 的 unit 里面使用 Environment= 参数手动指定要使用的环境变量。

从 portable 的角度来说，这两个解决方案应该使用前者，因为后者和代码的实现有很强的耦合性，而且仅仅加上这个环境变量也不能完全在 systemd 下模拟 shell 的运行环境。

最后放一下 nginx 的 vhost 的配置文件和 systemd service 的写法：

vhost.conf

server {
  listen 80;
  listen [::]:80;
  listen 443 ssl http2;
  listen [::]:443 ssl http2;
  ssl_certificate </path/to/your/.crt>;
  ssl_certificate_key <path/to/your/.key>;
  ssl_protocols TLSv1 TLSv1.1 TLSv1.2 TLSv1.3;
  ssl_ciphers TLS13-AES-256-GCM-SHA384:TLS13-CHACHA20-POLY1305-SHA256:TLS13-AES-128-GCM-SHA256:TLS13-AES-128-CCM-8-SHA256:TLS13-AES-128-CCM-SHA256:EECDH+CHACHA20:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;  ssl_prefer_server_ciphers on;
  ssl_session_timeout 10m;
  ssl_session_cache builtin:1000 shared:SSL:10m;
  ssl_buffer_size 1400;
  add_header Strict-Transport-Security max-age=15768000;
  ssl_stapling on;
  ssl_stapling_verify on;
  server_name <your_domain>;
  access_log <your_log> combined;
  index index.html index.htm index.php;
  root <your_root_dir>;
  if ($ssl_protocol = "") { return 301 https://$host$request_uri; }
  
  location ~ /(\.user\.ini|\.ht|\.git|\.svn|\.project|LICENSE|README\.md) {
    deny all;
  }
  location /.well-known {
    allow all;
  }
  location / {
    proxy_pass  http://localhost:4000;
    proxy_set_header        Host            $host;
    proxy_set_header        X-Real-IP       $remote_addr;
    proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
  }
}

systemd.service

[Unit]
Description=Daemon to start Jekyll service

[Service]
Type=simple
WorkingDirectory=</path/to/your/site>
ExecStart=/usr/bin/bundle exec jekyll liveserve --livereload-max-delay 1 --trace 
PIDFile=/var/run/jekyll.pid
Restart=always
RestartSec=3

[Install]
WantedBy=multi-user.target

注意要使用 liveserve 运行而非 serve，不然所有的链接都会是 localhost。

使用 Docker 快速架设一个 IPSec VPN Server

发表评论

仅作记录使用，环境为 Ubuntu 18.04 LTS

Docker Image 来自 hwdsl2/docker-ipsec-vpn-server 

# Install docker
apt update
apt install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
apt update
apt install docker-ce docker-ce-cli containerd.io

# Pull the docker image
docker pull hwdsl2/ipsec-vpn-server

之后创建一个 env 文件规定 IPSec 使用的 PSK、用户名和密码，假设存储在 /home/user/.config/vpn.env：

# Define your own values for these variables
# - DO NOT put "" or '' around values, or add space around =
# - DO NOT use these special characters within values: \ " '
VPN_IPSEC_PSK=your_ipsec_pre_shared_key
VPN_USER=your_vpn_username
VPN_PASSWORD=your_vpn_password

# (*Optional*) Define additional VPN users
# - Uncomment and replace with your own values
# - DO NOT put "" or '' around values, or add space around =
# - Usernames and passwords must be separated by spaces
# VPN_ADDL_USERS=additional_username_1 additional_username_2
# VPN_ADDL_PASSWORDS=additional_password_1 additional_password_2

# (*Optional*) Use alternative DNS servers
# - Uncomment and replace with your own values
# - By default, clients are set to use Google Public DNS
# - Example below shows Cloudflare's DNS service
# VPN_DNS_SRV1=1.1.1.1
# VPN_DNS_SRV2=1.0.0.1

# (*Optional*) Advanced users can set up IKEv2. See:
# https://git.io/ikev2docker

使用 systemd 开机自启动，假设文件在 /etc/systemd/system/ipsec.service:

[Unit]
Description=IPSec Docker
After=docker.service
Requires=docker.service

[Service]
User=root
Type=oneshot
RemainAfterExit=yes
ExecStartPre=-/usr/bin/docker stop ipsec-vpn-server
ExecStartPre=-/usr/bin/docker rm ipsec-vpn-server
ExecStart=/usr/bin/docker run --name ipsec-vpn-server --env-file /home/user/.config/vpn.env --restart=always -p 500:500/udp -p 4500:4500/udp -d --privileged hwdsl2/ipsec-vpn-server
ExecStop=/usr/bin/docker stop ipsec-vpn-server
ExecStopPost=/usr/bin/docker rm ipsec-vpn-server

[Install]
WantedBy=multi-user.target

之后使用 docker logs ipsec-vpn-server 就能看到本次使用的登录凭据。

在 Thunderbird 中使用 Outlook 风格回复

发表评论

在之前的一篇文章中已经探讨了如何在 Linux 下使用 Office365 的各种组件，然而 Thunderbird 的默认回复风格和 Outlook 不同，在每次回复都会加入缩进，而非 Outlook 的同级顶端回复，这篇文章就为了在 Thunderbird 上尽量模拟 Outlook 的回复风格。

为了达到这个效果，我们需要两个插件：SmartTemplate4 和 ReFwdFormatter。其中前者是收费的，5 刀一年的 standard license，也不算太贵，后者是免费的。

首先我们需要调整 Thunderbird 的默认回复行为，尽可能以 HTML 而非纯文本模式回复：

之后在 ReFwdFormatter 中删除增加回复缩进的选项：

最后使用 SmartTemplate4 更改回复的 header 样式：

样式代码如下：

<hr tabindex="-1" style="display:inline-block; width:98%">
<div id="divRplyFwdMsg" dir="ltr"><font style="font-size:11pt" face="Calibri, sans-serif" color="#000000">
<b>From:</b> %from(name,bracketMail(angle))%
<b>Sent:</b> %X:=sent% %A%, %B% %d%, %Y% %l%:%M%%p(3)%
[[<b>To:</b> %to(name,bracketMail(angle))%]][[<br><b>Cc:</b> %cc(name,bracketMail(angle))%]]
<b>Subject:</b> %subject%</font>
<div> </div>
</div>

然后就可以了

如果没有 Calibri 字体，需要安装 ttf-mscorefonts-installer 这个包。

如何压缩 VirtualBox 的 vdi 虚拟磁盘

发表评论

VMware 的虚拟磁盘管理界面上有两个功能，一个是整理磁盘碎片，另一个是回收未使用的空间。这两个功能配合使用，就可以清理掉虚拟磁盘映像文件里面已经删除了的文件依然占用的空间。然而，辣鸡如 VirtualBox 并没有提供这两个功能，需要手动进行未使用空间填零和压缩磁盘映像文件两个步骤。

首先需要确保使用的映像文件格式是动态分配，这样才有压缩的可能性。

如果是 Windows 客户机，那么首先进行磁盘碎片整理，完成之后，下载 sdelete 工具，使用例如：

sdelete.exe c: -z

这样的命令对 C 盘完成填 0 操作。

如果是 Linux 客户机，那么需要使用 zerofree 命令完成这个操作。由于该命令不能在盘符分区已经挂载的情况下工作，且最近版本的 Ubuntu 在 Recovery 模式下也会挂载所有的盘符，因此如果要进行这个操作，需要使用一个 Live CD 进入系统。安装 zerofree 之后，运行：

# zerofree -v /dev/sda1

这样的命令对 /dev/sda1 进行填 0 操作，之后就可以进行压缩了。

压缩的操作我们需要使用 VBoxManage 命令：

VBoxManage modifymedium disk "/path/to/disk.vdi" --compact

在 Windows 下可能需要手动在 VirtualBox 安装路径下找到 VBoxManage.exe 进行操作。之后就压缩成功了。