Deluge 1.3.15 需要 Python 2,但是由于 Python 2 已经停止支持,因此 Ubuntu 20.04 的官方源也逐渐在取消对这些旧版 Python 的支持。如果真的需要装一个老版本的话,就有很多东西需要自己编译。
分类目录归档:Seedbox
Intel I219-LM 网卡性能问题与暂时性解决方案
驱动有点问题。
Linux 是否需要整理磁盘碎片?
TL;DR
Yes and no. 取决于文件是怎么写入的。
对于 RSS BT 资源站然后长时间保种的公网分流机来说,需要;
对于刷流量的盒子,不需要;
其他工作负载,看写入和读取的 pattern。
继续阅读
Ubuntu 18.04 配置 Online IPv6
Ubuntu 的 netplan.io 实在是太烂了
Online 的 IPv6,之前写过一篇,是通过 /etc/network/interfaces 文件中的 pre-up 字段运行 dhclient 宣告 DUID,然而在 Ubuntu 18.04 中,ifupdown 换成了 netplan.io,原来的方法就不能用了。此外,dhclient 在每次运行的时候会清空当前 iface 上的 IPv6 地址,这个也给 netplan 造成了麻烦。在折腾之后有了一种解决办法:
- 在 netplan 配置文件中写入静态 IPv6 地址(同 /etc/network/interfaces)
- 使用 systemd 运行 dhclient
- 在运行 dhclient 之后再次执行 netplan apply
需要写入如下文件:
/etc/dhcp/dhclient6.conf
interface "<iface>" { send dhcp6.client-id <DUID>; request; }
/etc/systemd/system/dhclient.service
[Unit] Description=dhclient for sending DUID IPv6 Wants=network.target Before=network.target [Service] Type=forking ExecStart=/sbin/dhclient -cf /etc/dhcp/dhclient6.conf -6 -P -v <iface> [Install] WantedBy=multi-user.target
/etc/systemd/system/dhclient-netplan.service
[Unit] Description=redo netplan apply after dhclient Wants=dhclient.service After=dhclient.service Before=network.target [Service] Type=oneshot ExecStart=/usr/sbin/netplan apply [Install] WantedBy=dhclient.service
该文件在 dhclient.service 改变状态之后执行,注意该 oneshot 不能使用 RemainAfterExit=True,不然在 restart dhclient 以后,不能再次执行 netplan apply。
/etc/netplan/01-netcfg.yaml
# This file describes the network interfaces available on your system # For more information, see netplan(5). network: version: 2 renderer: networkd ethernets: <iface>: dhcp4: yes dhcp6: no accept-ra: yes addresses: - <IPv6>/56
即可。
参考资料:
https://documentation.online.net/en/dedicated-server/network/network-configuration-with-netplan
https://documentation.online.net/en/dedicated-server/network/ipv6/prefix
https://askubuntu.com/questions/1031853/how-to-set-up-ipv6-with-netplan-on-ubuntu-18-04?rq=1
https://lafibre.info/scaleway/configurer-une-ipv6-online-net-sur-ubuntu-18-04/
https://unix.stackexchange.com/questions/219940/getting-a-service-started-automatically-when-another-gets-started
关于 qb 有可能遇到 ICE default IO error handler doing an exit() 的问题
在一些性能比较弱的机器上,比如 N2800,运行 qb 时可能会报错 ICE default IO error handler doing an exit()。
说实话这是一个比较莫名其妙的错误,ICE 是一个 X client 之间通信的协议,可能是 Qt 在后台有什么操作吧。StackOverflow 上对于这个错误的解决方法是删除 ~/.ICEauthority 文件,然后就好了。我猜可能是 qb 启动如果卡太久 GUI 出不来的话会把这个文件搞坏,然后再启动的时候读取这个文件就炸了,删除这个文件以后 Qt 可能会报一个 warning,authentication failure 之类的,这个不影响运行,而且 qb 也不会炸了。
这个文件在每次启动桌面时会自动生成,因此已加入 qb 自动重启脚本中的错误检测豪华套餐。
Kimsufi KS-4 在 Rescue 模式下安装 Ubuntu 18.04
这两天 KS-4 搞特价,4T 硬盘只要 9o,是公网保种机的绝佳配置,于是买买买。下机以后发现默认的系统模板沙雕了,/ 分区不能使用 SoftRaid0 方式挂载,虽然可以曲线救国把 /root 分一大块出来做 R0,但是我不喜欢这种分区方式,于是就想办法重装这个系统。
一开始我测试了 Airium 修改的 Vicer 重装脚本,这个脚本可以把 iKoula 的机器重装成 Raid0,然而不知道为什么一重装就 SSH 不通,遂放弃。在考察了 KS 的后台分区以后,发现 / 分区只能做成 Raid1,并且无法在上面配置 LVM,看来走官方模板的路子是走不通了。于是就剩下一个方法,在 Rescue 模式下手动安装系统。
KS 的机器在 Rescue 下安装系统主要有两个方法,一是使用 dd 安装 Windows,这不是我想要的,而且我也没有 Ubuntu 的 dd 镜像;二是下载系统镜像的 iso 安装包,使用 QEMU 将硬盘挂载以后在虚拟环境中完成安装。奈何 N2800 这个 CPU 过于古老,没有 VT-x 指令集,因而无法运行 QEMU,只好另辟蹊径。
在寻找如何在 Linux 下安装一个 ISO 文件的过程中,偶然发现了 Debian 系的 debootstrap 脚本,这个脚本可以在任何 Linux 环境下安装 Debian 系的 Linux。作为 Debian 的下游,Ubuntu 也有这个脚本,在一些文档的帮助下,我感觉这条路是可行的。
从一个比较 high-level 的角度来看,使用 debootstrap 安装系统需要如下几步:
- 备份原系统的网络配置(不然等下 SSH 连不上)
- 硬盘分区,配置 SoftwareRAID
- 挂载硬盘
- 在挂载文件夹下运行 debootstrap
- chroot 进入新系统
- 在 debootstrap 完成的基础系统中完成硬盘挂载、SSH、网络和引导的配置
- 将启动方式还原为 local disk,重启
接下来是详细的步骤
备份网络配置
由于我要安装的是 Ubuntu 18.04,因此知道 OVH 的网络配置的最佳方法就是用官方模板装一遍,然后把配置弄出来。在安装之后,发现 OVH 并没使用 netplan,也没有使用之前的 ifupdown 文件,而是直接写了 systemd-networkd 的配置文件。需要备份的是这两个文件:
- /etc/systemd/network/50-default.network
- /etc/systemd/network/50-public-interface.link
文件名可能不同,但是基本就是在这个目录下。对于老版本的系统,备份 /etc/network/interfaces。
硬盘分区
理想的分区情况是这样的,两块盘 /dev/sda 和 /dev/sdb,分一个 512M 的区做 R1 挂载在 /boot,剩下的挂载在 /,swap 这里不考虑,装好了以后写一个文件作为 swap 是很方便的事情。
分区使用命令 fdisk,比如 fdisk /dev/sda,之后进入命令行交互环境。一个典型的配置情况如下:
root@rescue:/mnt# fdisk /dev/sda Welcome to fdisk (util-linux 2.25.2). Changes will remain in memory only, until you decide to write them. Be careful before using the write command. Device does not contain a recognized partition table. Created a new DOS disklabel with disk identifier 0xc1d78def. Command (m for help): n Partition type p primary (0 primary, 0 extended, 4 free) e extended (container for logical partitions) Select (default p): p Partition number (1-4, default 1): 1 First sector (2048-3907029167, default 2048): Last sector, +sectors or +size{K,M,G,T,P} (2048-3907029167, default 3907029167): +512M Created a new partition 1 of type 'Linux' and of size 512 MiB. Command (m for help): n Partition type p primary (1 primary, 0 extended, 3 free) e extended (container for logical partitions) Select (default p): p Partition number (2-4, default 2): First sector (1050624-3907029167, default 1050624): Last sector, +sectors or +size{K,M,G,T,P} (1050624-3907029167, default 3907029167): Created a new partition 2 of type 'Linux' and of size 1.8 TiB.
按 n 增加分区,然后输入 p 作为 primary 分区,然后指定大小,默认是全部,因此第一个分区输入 +512M,第二个保持默认就好。
之后用 fdisk -l 可以看到当前的分区情况:
root@rescue:/mnt# fdisk -l /dev/sda Disk /dev/sda: 1.8 TiB, 2000398934016 bytes, 3907029168 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: dos Disk identifier: 0xc1d78def Device Boot Start End Sectors Size Id Type /dev/sda1 2048 1050623 1048576 512M 83 Linux /dev/sda2 1050624 3907029167 3905978544 1.8T 83 Linux
/dev/sdb 如法炮制即可。
创建 RAID 设备
使用命令 mdadm,先删除之前所有创建的 md,之后再创建新的,命令如下:
mdadm --stop /dev/mdX mdadm --remove /dev/mdX mdadm --create --verbose /dev/md0 --level=mirror --raid-devices=2 /dev/sda1 /dev/sdb1 mdadm --create --verbose /dev/md1 --level=stripe --raid-devices=2 /dev/sda2 /dev/sdb2
前两行多运行几遍直到所有的都被删除,之后创建 /dev/md0 RAID1 作为 /boot,/dev/md1 RAID0 作为 /。
使用 lsblk 可以看到当前的分区情况:
root@rescue:/mnt# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sdb 8:16 0 1.8T 0 disk ├─sdb2 8:18 0 1.8T 0 part │ └─md1 9:1 0 3.7T 0 raid0 └─sdb1 8:17 0 512M 0 part └─md0 9:0 0 511.4M 0 raid1 sda 8:0 0 1.8T 0 disk ├─sda2 8:2 0 1.8T 0 part │ └─md1 9:1 0 3.7T 0 raid0 └─sda1 8:1 0 512M 0 part └─md0 9:0 0 511.4M 0 raid1
然后格式化成 ext4 文件系统:
mkfs.ext4 /dev/md0 mkfs.ext4 /dev/md1
安装 debootstrap
在这里下载 Ubuntu 的 debootstrap 脚本,应该会获得一个类似于 debootstrap_1.0.112ubuntu1_all.deb 的 deb 文件,使用 ar 释放后再解压至根目录下。ar 后会看到一个 data.tar.gz,释放到根目录下。
ar -x debootstrap_1.0.112ubuntu1_all.deb cd / zcat /pat/to/data.tar.gz|tar xv
运行 debootstrap
接下来才是重头戏,挂载之前分好区的硬盘并安装系统。我们假定 /dev/md1 挂载在 /mnt/ubuntu 下,然后对 /mnt/ubuntu 运行 debootstrap 安装系统。
mkdir /mnt/ubuntu mount /dev/md1 /mnt/ubuntu debootstrap --arch amd64 bionic /mnt/ubuntu http://fr.archive.ubuntu.com/ubuntu/
debootstrap 的命令中,要求安装 amd64 架构的 Ubuntu bionic,也就是 18.04,系统在 /mnt/ubuntu 下,需要的包从 http://fr.archive.ubuntu.com/ubuntu/ 获得。
稍等一会儿, 看到 I: Base system installed successfully. 就安装完成了。
chroot 准备
debootstrap 完成以后,在 /mnt/ubuntu 下就可以看到熟悉的 Linux 根目录结构了,然后我们做一些准备以方便 chroot 运行。
mount /dev/md0 /mnt/ubuntu/boot mount --bind /dev /mnt/ubuntu/dev mount --bind /dev/pts /mnt/ubuntu/dev/pts mount -t proc proc /mnt/ubuntu/proc mount -t sysfs sys /mnt/ubuntu/sys
第一行是将 /dev/md0 挂载在 /boot 下,这是和我们的分区意图相一致,2 3 两行是将当前系统的 /dev 映射进去,方便之后配置 fstab 文件,4 5 两行是将 proc 和 sysfs 挂载进去,方便配置时进行交互。
之后 chroot 进入新的环境:
LANG=C.UTF-8 chroot /mnt/ubuntu /bin/bash locale-gen en_US.UTF-8 export TERM=xterm-color
如果进去以后报错 “bash: warning: setlocale: LC_ALL: cannot change locale (en_US.UTF-8)” 则运行第二行,如果不报错就不用管了,第三行是为了 Terminal 好看点。
系统配置
首先配置一下软件包的源,编辑 /etc/apt/sources.list 写入如下几行:
deb http://fr.archive.ubuntu.com/ubuntu bionic main restricted deb http://fr.archive.ubuntu.com/ubuntu bionic universe deb http://fr.archive.ubuntu.com/ubuntu bionic multiverse deb http://fr.archive.ubuntu.com/ubuntu bionic-backports main restricted universe multiverse deb http://security.ubuntu.com/ubuntu/ bionic-security main restricted deb http://security.ubuntu.com/ubuntu/ bionic-security universe deb http://security.ubuntu.com/ubuntu/ bionic-security multiverse
并且 apt update。完成后先安装 mdadm 和 lvm2,方便之后挂载。
apt-get install mdadm lvm2
编辑 /etc/fstab 写入挂载方式:
# file system mount point type options dump pass /dev/md0 /boot ext4 defaults 0 2 /dev/md1 / ext4 defaults 0 1
运行 mount -a 自动挂载,此时使用 df 命令应该可以看到正确的硬盘占用了。
运行 passwd 命令配置 root 用户密码,如果需要加用户,此时使用 adduser 即可。
之后安装内核和 OpenSSH Server:
apt-get install openssh-server linux-generic linux-tools-generic
正常情况下,在安装时会弹出 grub 的配置窗口,选择将 GRUB 安装在 /dev/sda 和 /dev/sdb,如果没有询问的话,安装完成以后运行如下两行:
grub-install /dev/sda grub-install /dev/sdb
之后写回最开始备份的网络配置文件,并且启动相关服务:
vi /etc/systemd/network/50-default.network vi /etc/systemd/network/50-public-interface.link systemctl enable systemd-networkd systemctl enable systemd-resolved
注意如果只有 root 用户的话,去 /etc/ssh/sshd_config 中修改 PermitRootLogin 为 yes,不然可能无法登录。
这时候就安装完成了,去 KS 后台用本地硬盘重启即可。在登录后记得配置 Public Key,然后将 PermitRootLogin 改为 PermitRootLogin prohibit-password。
最后在安装好的系统中使用 df 和 lsblk 命令查看分区情况:
root@rescue:~# df -h Filesystem Size Used Avail Use% Mounted on udev 1.9G 0 1.9G 0% /dev tmpfs 393M 676K 393M 1% /run /dev/md1 3.6T 1.3G 3.4T 1% / tmpfs 2.0G 0 2.0G 0% /dev/shm tmpfs 5.0M 0 5.0M 0% /run/lock tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup /dev/md0 488M 73M 386M 16% /boot tmpfs 393M 0 393M 0% /run/user/0 root@rescue:~# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 1.8T 0 disk |-sda1 8:1 0 512M 0 part | `-md0 9:0 0 511.4M 0 raid1 /boot `-sda2 8:2 0 1.8T 0 part `-md1 9:1 0 3.7T 0 raid0 / sdb 8:16 0 1.8T 0 disk |-sdb1 8:17 0 512M 0 part | `-md0 9:0 0 511.4M 0 raid1 /boot `-sdb2 8:18 0 1.8T 0 part `-md1 9:1 0 3.7T 0 raid0 /
参考资料
系统安装相关:
https://www.codejam.info/2015/12/installing-nixos-on-a-kimsufi.html
https://help.ubuntu.com/community/Installation/MinimalCD
https://www.pozzo-balbi.com/help/Remote_install_OS_-_Qemu
https://help.ubuntu.com/community/Installation/FromLinux
https://help.ubuntu.com/lts/installation-guide/powerpc/apds04.html
http://ports.ubuntu.com/ubuntu-ports/pool/main/d/debootstrap/
分区相关:
https://wiki.archlinux.org/index.php/Fdisk_(%E7%AE%80%E4%BD%93%E4%B8%AD%E6%96%87)
https://raid.wiki.kernel.org/index.php/RAID_setup#Create_RAID_device
https://wiki.archlinux.org/index.php/Fstab_(%E7%AE%80%E4%BD%93%E4%B8%AD%E6%96%87)
配置相关:
https://help.ubuntu.com/community/Installation/SoftwareRAID
https://wiki.archlinux.org/index.php/systemd-networkd#Basic_usage
https://unix.stackexchange.com/questions/158400/etc-shadow-how-to-generate-6-s-encrypted-password
qBittorrent 自动重启
因为 libtorrent 全是 bug,所以用了它的 qBittorrent 经常会莫名其妙出现一些错误,然后自己挂掉。虽然每次的 backtrace 都是在 libtorrent 里面出现的错误,但是同样用了 lt 的 Deluge 就一点都没有问题,所以估计这俩的代码都写得太差吧。
因此,写了一个简单的脚本去监控 qb 的运行状态,在它挂掉的时候自动重启,在漏内存的时候自动 kill 掉重开一个。
具体代码可以看 Github。默认行为是在 Xserver 存在的情况下启动 GUI 版的 qb,如果没有 Xserver 就启动 qbittorrent-nox,一分钟检测一次运行状态,挂了就重开。
如果在 VNC 下面使用 GUI 版的 qb,且想要随着桌面自动启动的话,需要在 ~/.config/autostart 下放置一个 desktop 文件
如果想看到一个 Terminal,并且监控一下重启的原因,用这个版本:
[Desktop Entry] Encoding=UTF-8 Version=0.9.4 Type=Application Name=qBittorrent-daemon Comment= Exec=bash -c '/usr/bin/python3 <path>/launch.py' OnlyShowIn=XFCE; StartupNotify=false Terminal=true Hidden=false
如果不需要看到那个 Terminal,用这个版本:
[Desktop Entry] Encoding=UTF-8 Version=0.9.4 Type=Application Name=qBittorrent-daemon Comment= Exec=/usr/bin/python3 <path>/launch.py OnlyShowIn=XFCE; StartupNotify=false Terminal=false Hidden=false
关于公网分流任务使用 qBittorrent + libtorrent 内存泄漏的一些想法
出现的问题是,在 Linux qb 挂了 400+ 公网种子的情况下,使用 libtorrent 1.1 作为后端,在运行三至四天以后就会内存使用量不断增加,直到占用了几乎所有的可用内存,系统崩溃为止。
在 qb 的这个 Issue 中(https://github.com/qbittorrent/qBittorrent/issues/8630),有人在 Windows 上观察到了一样的现象,报告在 Enable OS cache 的情况下最终会导致内存泄漏。
在 https://github.com/qbittorrent/qBittorrent/issues/8295 和 https://github.com/arvidn/libtorrent/issues/1997 这两个 Issue 中,有人提到是 libtorrent 本身的 IO 和缓存实现存在问题,导致磁盘 IO 效率过低。但是这两个问题也都是在 Windows 上观察得出的,目前提供的方法是关闭 OS Cache,打开 libtorrent 的 coalesce reads & writes 选项,以在 Windows 上达到较好的 IO 性能表现(这个选项在 Linux 上是不必要的,因为 Linux 有 pwritev() 的实现,不需要通过 pwrite() 进行模拟——arvidn)。
但是在 Linux 上,这个问题仍然没有任何解决的迹象。在我看来,假定 libtorrent 自身的内存管理不存在问题,没有内存泄漏的情况,那么内存占用应该存在于两个方面:一是在 libtorrent 1.1 解决了 IO 性能问题以后引入的新 bug,即 lt 可以同时打开大量的 File Descriptor 且不陷入死锁,那么由于使用 buffered IO 的问题,在系统内核层面上消耗了大量的内存;另一个可能性是 TCP Socket buffer,libtorrent 1.1 相比 1.0 修正了大量 TCP Socket 连接卡死的问题(甚至出现了 too many open files 的情况,参见之前的文章,这个现象在 lt 1.0 从未出现过),大量 peer 和 tracker 连接使用的 TCP Socket 在内核层面占用了大量的内存,进而出现内存占用高的问题。
目前先禁用 OS Cache 进行下一步测试,观察是否还会出现内存占用过高。如果有,那么应该是 TCP 造成的问题了。(在看了 IBM 关于 Linux Direct IO 的这篇文章后,我对 IO Buffer 这个方向不报太大希望,因为无论怎么看 Buffered IO 的实现也不像会把自己噎死的样子)
iKoula 盒子的一些记录
之前听人整天听人吹 iKoula 网络好,但是因为性价比太低一直没买,这次黑五总算有性价比还行的型号,就买了台,真香
我这台是 109 段的 G 管,首先要配置一下 IPv6,运行这样一个脚本:
serveripv4=$( ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:" ) interface=$( ifconfig -a | grep -B 1 $serveripv4 | head -n1 | awk '{print $1}' | sed "s/:$//" ) AAA=$( echo $serveripv4 | awk -F '.' '{print $1}' ) BBB=$( echo $serveripv4 | awk -F '.' '{print $2}' ) CCC=$( echo $serveripv4 | awk -F '.' '{print $3}' ) DDD=$( echo $serveripv4 | awk -F '.' '{print $4}' ) cat>>/etc/network/interfaces<<EOF iface $interface inet6 static address 2a00:c70:1:$AAA:$BBB:$CCC:$DDD:1 netmask 96 gateway 2a00:c70:1:$AAA:$BBB:$CCC::1 EOF
然后 systemctl restart networking.service 就行了。
如果你像我一样运气不好,拿到了一块 WD 绿盘,IntelliPower 这种垃圾技术的盘,那么还得想办法拯救一下。绿盘默认 8 秒会把磁头停到启停区,这时候如果去读盘,就会卡一下,我们通过 idle3ctl 关闭这个功能:
sudo apt-get install idle3-tools sudo apt-get install idle3-tools # Show current idle3 value sudo idle3ctl -s 138 /dev/sda # setting to 300 seconds # The man page for idle3ctl states that values between 1 and 128 add 0.1 seconds, values between 129 and 256 add 30s: 128 * 0.1 + (138 - 128) * 30 = 312.8 seconds sudo idle3ctl -d /dev/sda # Disable parking, recommended
之后就是网卡,iKoula 的桌面主板用的是 RTL8168 这块开 BBR 会掉速 4MB 的螃蟹卡,我们需要更新驱动
由于 Realtek 的官网不太好使,我备份了驱动到自己的站点
apt update && apt install build-essential libelf-dev linux-headers-$(uname -r) wget https://down.gloriousdays.pw/Tools/0012-r8168-8.046.00.tar.bz2 tar xjvf 0012-r8168-8.046.00.tar.bz2 cd r8168-8.046.00 ./autorun.sh || modprobe r8169
这样就会安装上 R8168 的驱动了,之间会断网 3-5 分钟,之后重连即可,不需要 screen,但是如果一定要用也行。
使用 ethtool 查看驱动情况,如果是 r8168 就已经完成:
# ethtool -i eth0 driver: r8168 version: 8.046.00-NAPI firmware-version: expansion-rom-version: bus-info: 0000:01:00.0 supports-statistics: yes supports-test: no supports-eeprom-access: no supports-register-dump: yes supports-priv-flags: no
如果 10 分钟还连不上,去后台手动重启。
参考资料:
https://wdullaer.com/blog/2015/04/05/hack-your-wd-greens/
关于 BT 客户端 Too many open files 的问题
感谢星菊对这个问题提供的帮助
换用 libtorrent 1.1 以后,由于 arvidn 改善了 IO 线程的问题,因此总是出现 too many open files 错误,在多方询问以后,终于解决了这个问题。
如果去查这个问题,通常会建议修改 limits.conf,修改 ulimit -n 参数,在 sysctl.conf 中添加 fs.file-max 参数等等,然而都不能解决这个问题。
实际上,目前以 systemd 作为启动工具的发行版,都存在两套限制体系,一个是 limits.conf,负责限制命令行模式启动的程序,另一个是 /etc/systemd/system.conf,限制以 systemd service 方式启动的程序。因此如果要解决这个问题,需要所有的地方都进行修改。
在 /etc/systemd/system.conf 中,加上:
DefaultLimitNOFILE=999998 DefaultLimitNPROC=999998
在 /etc/sysctl.conf 中,加上:
fs.file-max = 2097152 fs.nr_open = 2097152
在 /etc/security/limits.conf 中,加上:
* hard nofile 999999 * soft nofile 999999 root hard nofile 999999 root soft nofile 999999
然后就可以解决问题了。