编译带有 Intel MKL 的 TensorFlow

我永远也不知道该用哪个版本的 Bazel 编译 TensorFlow;以及……牙膏厂能不能好好写文档。

本文均在 Python3 环境下进行编译,0202 年了为什么还有人在用 Python2。

环境准备

Python 开发环境:

sudo apt install python3-dev python3-pip
pip3 install -U --user pip six numpy wheel setuptools mock 
pip3 install -U --user keras_applications --no-deps
pip3 install -U --user keras_preprocessing --no-deps

Bazel:

这里不直接安装,而是使用 Bazelisk 这个 wrapper 完成对 bazel 的调用。Bazelisk 的 release 为一个 standalone 的二进制包,我们可以直接把它改名为 bazel 放入 PATH 中直接进行调用,所有的参数会自动 passthrough 到具体的 bazel 上。在调用 bazelisk 之前,可以使用 USE_BAZEL_VERSION 这个环境变量指定需要的 bazel 版本,如果没有在本地缓存过,则会被自动下载。由于编译 TensorFlow 对 bazel 版本有严格的要求,使用 bazelisk 可以不用反复重新安装 bazel 就能尝试不同的版本。

Intel MKL:

Intel 有 apt 源可以直接安装这个包

wget https://apt.repos.intel.com/intel-gpg-keys/GPG-PUB-KEY-INTEL-SW-PRODUCTS-2019.PUB
apt-key add GPG-PUB-KEY-INTEL-SW-PRODUCTS-2019.PUB
rm GPG-PUB-KEY-INTEL-SW-PRODUCTS-2019.PUB

sudo wget https://apt.repos.intel.com/setup/intelproducts.list -O /etc/apt/sources.list.d/intelproducts.list
sudo apt-get update

之后可以在这个页面取得想要安装的包的版本的名字,或者直接用 apt-cache search 也可以。目前最新的 MKL 版本为 intel-mkl-64bit-2020.0-088。

编译

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow
git checkout branch_name  # r1.9, r1.10, etc.
./configure

在 configure 中完成一些配置,比如是否需要 GPU 支持,MPI 支持等等,这里不赘述。

如果我们要编译一个带有 CPU 优化、MKL 库以及 CUDA 支持的 TensorFlow:

bazel build --config=opt --config=mkl --config=cuda //tensorflow/tools/pip_package:build_pip_package

之后创建 Python 的 .whl 安装包

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

然后在 /tmp/tensorflow_pkg 下就可以看到编译好的安装包了。

Reference

https://www.tensorflow.org/install/source
https://github.com/bazelbuild/bazelisk
https://github.com/tensorflow/tensorflow/issues/26249
https://gist.github.com/pachamaltese/afc4faef2f191b533556f261a46b3aa8
https://software.intel.com/en-us/articles/installing-intel-free-libs-and-python-apt-repo

调整 Firefox 在 Linux 下的缩放比例

Linux 的 HiDPI 支持真的烂。

之前从 Chrome 换到了 Firefox,但是非整数倍缩放的问题一直没有很好解决。在 Xfce 桌面下,Chrome 的 UI 和网页内容缩放会自动根据桌面环境 DPI 调整,但是 Firefox 无论如何调整均使用 96dpi 的设定。

解决这个问题需要在 about:config 下调整 layout.css.devPixelsPerPx 的值。默认值是 -1.0,不知道这个值有什么用。如果需要 1.25x 的缩放,即 120dpi,那么把这个值修正到 1.25 即可。UI 和网页内容会同步缩放,PDF 字体渲染也不会出现 Chrome 那样缩放以后边缘模糊的问题。

如果觉得 Tab 有些大,那么在 Customize 里面把 Density 调成 Compact 就行.

Reference:

https://wiki.archlinux.org/index.php/Firefox/Tweaks#Fonts

在 Thunderbird 中使用 Outlook 风格回复

在之前的一篇文章中已经探讨了如何在 Linux 下使用 Office365 的各种组件,然而 Thunderbird 的默认回复风格和 Outlook 不同,在每次回复都会加入缩进,而非 Outlook 的同级顶端回复,这篇文章就为了在 Thunderbird 上尽量模拟 Outlook 的回复风格。

为了达到这个效果,我们需要两个插件:SmartTemplate4ReFwdFormatter。其中前者是收费的,5 刀一年的 standard license,也不算太贵,后者是免费的。

首先我们需要调整 Thunderbird 的默认回复行为,尽可能以 HTML 而非纯文本模式回复:

之后在 ReFwdFormatter 中删除增加回复缩进的选项:

最后使用 SmartTemplate4 更改回复的 header 样式:

样式代码如下:

<hr tabindex="-1" style="display:inline-block; width:98%">
<div id="divRplyFwdMsg" dir="ltr"><font style="font-size:11pt" face="Calibri, sans-serif" color="#000000">
<b>From:</b> %from(name,bracketMail(angle))%
<b>Sent:</b> %X:=sent% %A%, %B% %d%, %Y% %l%:%M%%p(3)%
[[<b>To:</b> %to(name,bracketMail(angle))%]][[<br><b>Cc:</b> %cc(name,bracketMail(angle))%]]
<b>Subject:</b> %subject%</font>
<div> </div>
</div>

然后就可以了

如果没有 Calibri 字体,需要安装 ttf-mscorefonts-installer 这个包。

从 Chrome 切换至 Firefox

做这个切换还是很有必要性的,为什么呢?Google 掌握了太多我们的个人信息,书签、密码以及各种访问记录,从某种意义上来说,不能让这样一家商业公司控制互联网。另外一个原因是我发现 Chrome 在 Linux 下非 100% 缩放的情况下 PDF 渲染非常瞎眼,边缘糊成一团,对屏幕阅读很不友好。

迁移主要只需要用到两个工具,一是 Firefox 本身,二是 ffpass,用来导入 Chrome 保存的密码。首先在安装好 Firefox 以后,在 Open Menu -> Library -> Bookmarks -> Show All bookmark -> Import and Backup -> Import Data from Another Browser 中导入 Chrome 的书签和 cookie。

之后在 Chrome 保存的密码页面上点击右上角的三个点将保存的密码导出为 .csv 文件,并安装 ffpass。在导入密码之前,首先要在 Firefox 中查找自己的 Profile Directory,这个通过 Open Menu -> Help -> Troubleshooting Information -> Application Basics::Profile Directory 查找到,我们记为 $PROFILE。之后使用 ffpass 进行导入:

ffpass --from <Your password csv> -d <PROFILE>

就可以完成导入了。

之后打开 Firefox account 同步,并且安装上 Chrome 中原来使用的插件,由于绝大多数插件在 FF 和 Chrome 下均存在,因此这一步不会有什么问题。到这里就迁移成功了。

Update: ffpass 虽然能够在 Linux 上正确导入密码,但是似乎无法同步到 Firefox Account 内,如果需要导入密码,在 Windows 上的 Firefox 中直接操作即可,Linux 版本没有这个功能。

参考资料:

https://github.com/louisabraham/ffpass
https://support.mozilla.org/en-US/kb/profiles-where-firefox-stores-user-data#w_how-do-i-find-my-profile
https://support.mozilla.org/en-US/kb/switching-chrome-firefox

关于 Linux 用户界面字体

Noto Sans 是个好东西,但是要选好才好看。

Noto Sans 是个不错的字体,中日英混排也算做得还不错。由于其无衬线 / 黑体设计,注定很适合作为一个屏幕字体而使用。但是在操作系统 UI 这个显示场景下,部分字体显的过宽,看起来就让人很烦躁。在经过一番调试以后,总结出了一些比较好的搭配方式。

Noto Sans 在不考虑地区版本(如 CJK)和等宽版本的情况下,主要有非 UI 和 UI 两个后缀。也就是说曾存在有 Noto Sans Arabic 和 Noto Sans Arabic UI 这样两个版本,其主要区别在与 UI 版本的纵向宽度更窄,根据 Google 的设计指引,带有 UI 后缀的字体应该被使用在 UI 设计的场景下,虽然原文中说的是阿拉伯语,但是从我的经验看来,在 UI 场景下使用纵向较窄的一些的特化版本无论在什么语言下都是一个好的选择。

接下来就是很吊诡的一件事了,Ubuntu 的 fonts-noto 包在 16.04 到 18.04 版本中做了较大的改动,原来的版本中包含 Noto Sans 和 Noto Sans UI 这两个字体,因此对于英文场景,直接照着选就完事了。然而在 18.04 中,不知是不是上游的改动,删除了 Noto Sans UI 这个字体。由于一直没找到比较好的纵向较窄的替代品,因此那个较宽的版本让我眼镜不舒服了很长一段时间。

后来发现,Ubuntu 自带的版本中,有一个叫 Noto Sans Display 的版本,这个相比 Noto Sans,仅仅是修改了字符纵向的宽度,符合 UI 的设计特点。在经过一番调试以后,发现确实是一个很不错的选择。

经过测试的字体配置如下,桌面环境为 Xfce:

  • 窗口内文(Appearance 设置项中)Noto Sans Display Regular 9pt
  • 窗口标题(Window Manager 设置项中)Noto Sans Display Bold 9pt
  • Slight Hinting
  • 96/120 dpi(这个一定要设置)

对于 Seedbox 的 VNC 的场景,如果觉得字体略小阅读吃力,可以使用更大一些配置:

  • 窗口内文 Noto Sans Display Regular 10pt
  • 窗口标题 Noto Sans Bold 9pt(注意这里,使用 NSD 会导致窗口标题显得太窄而和内容不协调)
  • Slight Hinting
  • 96 dpi

其实这个配置在我曾经的某个盒子上被配出来过,但是一直没有将其标准化,所以也一直没有记得……

 

如何正确在 Windows 10 上关联一个新的扩展名

Windows 10 这个 UWP 的逻辑太垃圾了。

在以前版本的 Windows 中,我们如果想使用一个程序打开一个从来没注册过的扩展名,通常直接右键属性就可以完成。但是在 Windows 10 上,这个做法就失效了。例如,我需要使用 XnView MP 打开 .webp 文件,尽管我已经把 XnView 注册为默认的图像查看器,但是并不是所有的图像格式都被关联到了它上面(这个原因说实话也很简单,Windows 怎么知道什么格式的东西是”图像“,它也不可能维护一个世界上所有图像格式的列表),比如 .webp 格式就没有被关联。使用右键打开方式强行关联到 XnView 以后,就会有一个新的问题,在双击的时候,XnView 是打开了,但是没有打开对应的文件。

因此,还是需要找注册表解决。

在我们使用右键打开方式关联 .webp 格式以后,注册表的情况是这样的:

可以看到,创建了 .webp 这个扩展名,并且指向 .webp_auto_file,然后指向 XnView 执行文件,但是注意没有带任何参数,因此 XnView 无从知道要打开什么文件。

那么这时候可行的解决方法就是,更改 command 的值,在路径后加上 ”%1“ 这个参数。

或者也可以把这两个项都删掉,之后通过命令行解决:

ftype extfile="C:\Program Files (x86)\YourProgram.exe" "%1"
assoc .ext=extfile

extfile 可以随便更改,只是描述文件的名字,然后将 .ext 指向这个项就可以了。

之后重启,且需要在 explorer 里面再在右键中打开方式处设置一下关联,关联到刚刚选择的程序,就能正常双击打开了。注意这步一定要做,否则似乎并不会很快生效。

Reference:
https://superuser.com/questions/1080453/adding-or-registering-a-file-type-so-it-can-be-associated-with-an-application

关于 OPAL Drive 和 BitLocker 关系的理解

起因是这样的,美帝良心想这个 X1 Carbon 的官网上在调整 SSD 配置的时候,从 256G 加到 1T 需要增加 591USD,即使算上 45%off 的折扣也要 200 多刀。然而一个 SN750 1T 在美亚不过也才 200 刀,在官网加 SSD 就相当不合算了。

但是我注意到了一点,联想官网上对 SSD 的描述是 OPAL,也就是符合 OPAL 标准的自加密 SSD (Self-Encrypting Drive,SED),机器到手以后也默认开启了 BitLocker。在我的记忆中,BitLocker 是一个纯软件的实现,那么这里 SSD 的自加密和 BitLocker 的关系是什么呢?

查了一圈资料以后发现,BitLocker 存在硬件和软件两种实现方式。在检测到硬盘控制器支持硬件加密的时候,Windows 会直接使用该功能,且不对数据进行任何处理的方式就写入磁盘,由主控完成加密。如果主控不支持加密,则使用软件实现。具体的实现方式可以通过 manage-bde 这个命令查看:

如果是软件实现,那么在 Encryption Method 下就会显示类似于 XTS-AES 128 这样的字眼。在一些比较老的版本上可能只是 AES 128。

如果是启用了硬件加密特性,那么应该是这样:

显示为 Hardware Encryption。

如果是官网购买的 OPAL Drive,那么应该是可以显示为 Hardware Encryption 的,如果是自行购买的 SN700(官网是 SN720,也就是前者的 OEM 版本),那么就是软件加密。

如果没有关闭 BitLocker 就取下了硬盘,在数据可以抹掉的情况下,理论上有两种方法可以解开。一个是使用 BitLocker 恢复密钥,这个会自动同步到自己的 Microsoft Account 上,可以看这里。或者也可以考虑直接使用命令抹掉数据并重新生成密钥,这个可以看 ArchWiki 的详细讲解。

Reference:
https://wiki.archlinux.org/index.php/Self-Encrypting_Drives

How to Enable BitLocker Hardware Encryption with SSDs


https://support.microsoft.com/en-us/help/4026181/windows-10-find-my-bitlocker-recovery-key
https://howtogeek.com/fyi/you-cant-trust-bitlocker-to-encrypt-your-ssd-on-windows-10/
https://portal.msrc.microsoft.com/en-US/security-guidance/advisory/ADV180028

如何压缩 VirtualBox 的 vdi 虚拟磁盘

VMware 的虚拟磁盘管理界面上有两个功能,一个是整理磁盘碎片,另一个是回收未使用的空间。这两个功能配合使用,就可以清理掉虚拟磁盘映像文件里面已经删除了的文件依然占用的空间。然而,辣鸡如 VirtualBox 并没有提供这两个功能,需要手动进行未使用空间填零和压缩磁盘映像文件两个步骤。

首先需要确保使用的映像文件格式是动态分配,这样才有压缩的可能性。

如果是 Windows 客户机,那么首先进行磁盘碎片整理,完成之后,下载 sdelete 工具,使用例如:

sdelete.exe c: -z

这样的命令对 C 盘完成填 0 操作。

如果是 Linux 客户机,那么需要使用 zerofree 命令完成这个操作。由于该命令不能在盘符分区已经挂载的情况下工作,且最近版本的 Ubuntu 在 Recovery 模式下也会挂载所有的盘符,因此如果要进行这个操作,需要使用一个 Live CD 进入系统。安装 zerofree 之后,运行:

# zerofree -v /dev/sda1

这样的命令对 /dev/sda1 进行填 0 操作,之后就可以进行压缩了。

压缩的操作我们需要使用 VBoxManage 命令:

VBoxManage modifymedium disk "/path/to/disk.vdi" --compact

在 Windows 下可能需要手动在 VirtualBox 安装路径下找到 VBoxManage.exe 进行操作。之后就压缩成功了。

迁移一个 MediaWiki

讲道理,迁移这玩意比迁移一个 WordPress 麻烦多了。

以下记录仅作为记录,因为迁移配置的环境实在不是很通用。

简单来说,我需要做的一件事是在两台我都没有 root 权限的服务器上迁移一个 MediaWiki 站点。理论上来说,按照官方提供的文档可以很简单地完成这件事,但是其中有一些细节还是需要注意。

从一个比较 high-level 的层面上来说,迁移需要做三件事,导出数据库、移动文件、导入数据库。很简单对吧,然而在两边的 web 环境不一致且不可能完全自己重装的时候,这个问题就不那么简单了。

遇到的第一个问题是,目标环境中的 PHP 没有安装 SQLite 模块,这就意味着必须使用 MySQL 作为数据库后端不能有一个较为 portable 的实现。但是很快就发现,该目标机上没有一个运行的 mysqld 进程,也就意味着我必须在没有 root 权限的情况下运行一个完整的 MySQL session。好在已经有人做过这件事,因此也找到了对应的命令:

首先初始化 MySQL 的环境,这里假定我们所有的文件都保存在 $HOME/mysql 下,使用如下命令运行 mysqld 进行初始化:

MYSQL_HOME=/homes/<user>/mysql
BASE_DIR=$MYSQL_HOME
DATADIR=$BASE_DIR/data
mysqld --user=asset-wiki-admin --datadir=$DATADIR --basedir=$MYSQL_HOME --log-error=$MYSQL_HOME/log/mysql.err --pid-file=$MYSQL_HOME/mysql.pid --socket=$MYSQL_HOME/socket --port=32303 --initialize

之后会生成一个默认的 root 密码在 mysql/log/mysql.err 最后一行,去把它记下来,之后会用到。

然后普通运行 mysqld 可以使用如下命令:

MYSQL_HOME=/homes/<user>/mysql
BASE=$MYSQL_HOME
/usr/sbin/mysqld --datadir=$BASE/data --basedir=$BASE --log-error=$BASE/log/mysql.err --pid-file=$BASE/mysql.pid --socket=$BASE/socket --port=32303 &

停止 mysqld 使用如下命令:

MYSQL_HOME=/homes/<user>/mysql
BASE=$MYSQL_HOME
/usr/bin/mysqladmin --socket=$BASE/socket shutdown -u root -p

如果要不使用交互式密码登录,那么将 -p 命令替换成 -ppassword,这里假定密码就是 password,注意这里不要空格。

如果要启动一个 MySQL 实例,那么这么做:

MYSQL_HOME=/homes/<user>/mysql
BASE=$MYSQL_HOME
/usr/bin/mysql --socket=$BASE/socket --port=32303 -u root -p

注意 32303 是我随便选的本地监听端口,可以换成任意一个可用端口。

在完成本地数据库环境搭建以后,在源服务器上 dump 数据库,在目标服务器上创建数据库和用户并授予权限,之后按照文档中的命令将其导入。

下一步就是在 web server 的目录中放入 MidiaWiki 的文件,然后访问网址进行自动安装,在填写了数据库密码之后,会自动进行数据库的适配过程。之后就会生成当前的 LocalSettings.php 文件。

为了保持原始的设定,我们可以将源服务器上的 LocalSettings.php 拷贝过来,并且将里面的内容根据新的环境做一些修改。需要修改的变量在这里可以看到。主要是修改一些路径相关的文件夹和数据库的连接方式。到这里理论上就可以结束了,但是还要记录一些问题。

关于 PDF 缩略图的生成,MediaWiki 默认通过 PdfHandler 这个插件基于 ImageMagick 和 GhostScript 完成转换和生成工作。这个需要注意的是 $wgMaxShellMemory 这个配置项,可以调整为 ‘unlimited’,以免生成时出现类似

Error creating thumbnail: convert: no decode delegate for this image format `' @ error/constitute.c/ReadImage/504. convert: no images defined `/tmp/transform_efffbb473a62.jpg' @ error/convert.c/ConvertImageCommand/3258

这样的错误。

另外一个需要注意的问题是,ImageMagick 可能禁止转换 PDF 文件,具体要查看 /etc/ImageMagick/policy.xml 或者通过 convert -list policy 查看,确认 PDF 格式的权限是 Read|Write 而非 none。如果系统配置为 none,如没有 root 权限,只能编译安装 ImageMagick,注意一定要做一个 module build。

之后在 ~/.config/ImageMagick/policy.xml 中写入对应的配置就可以了。

另外一个错误是:

Notice: Undefined offset: 0 in /home/asset-wiki/htdocs/includes/libs/mime/MimeAnalyzer.php on line 809

这个是 MediaWiki 1.33 和 PHP 兼容性导致的。具体参考这里的改动。主要就是将 809 行最后的 [0] 改成 [1] 就能解决问题。

如果上传一个 pptx 文件的时候 wiki 报错认为 MIME 类型是 application/zip,这个是 PHP fileinfo 模块的锅,可以用 $wgVerifyMimeType = false; 强行关闭 MIME 类型检查。具体看这里

在 Linux 下使用 Office 365

在 Windows 上用习惯了微软全家桶,切到 Linux 就没指望了,又不能说装个 Windows 虚拟机就为了用 Office 365,那只好尝试找找替代品了。

首先是 Outlook,包含了学校账户的 Exchange ActiveSync,个人 Outlook 邮箱还有日程功能。在 Linux 上比较常见的邮件客户端是 Mozilla Thunderbird,通过插件配置可以最低限度地支持 Outlook 提供的一些服务。

  • owl for exchange 提供 Exchange ActiveSync 的邮件支持
  • lightning 提供 Outlook 日历的基础功能支持
  • tbsync + provider for exchange activesync 提供到 Office 365 账户的日历同步功能
  • provider for google calendar 为 lightning 提供到 Google Calendar 的同步功能

有了这些插件以后,就可以依次添加自己的账户开始同步了。不能说多好用,勉强能用吧。

然后是 Microsoft To-Do,这个有好事者开发了一个跨平台的版本:klaussinani/ao。通过 snap 就可以安装。

还有 OneNote,这个似乎除了网页版就没有什么比较好用的版本,不过也有好事者用 Electron 做了一个本地网页客户端:patrikx3/onenote。还算能用,也是通过 snap 安装。

OneDrive 的同步,也有好事者写了 Linux 上可用的版本:skilion/onedrive。这个要写一下正确的安装流程,我装的时候差点就把 OneDrive 里面的文件全部删掉了,幸好有回收站。

对于 Ubuntu 18.04,安装流程是这样的:

sudo apt install libcurl4-openssl-dev
sudo apt install libsqlite3-dev

# Ubuntu 18
sudo snap install --classic dmd && sudo snap install --classic dub

git clone https://github.com/skilion/onedrive.git
cd onedrive
make
sudo make install

注意,在运行之前,一定是在运行之前,自行在 ~/.config 下创建配置文件目录,以 ~/.config/onedrive 为例,如果需要同步多个账户则应使用不同的目录名称:

mkdir -p ~/.config/onedrive
cp ./config ~/.config/onedrive/config
nano ~/.config/onedrive/config

config 文件结构类似这样:

# Directory where the files will be synced
sync_dir = "~/OneDrive"
# Skip files and directories that match this pattern
skip_file = ".*|~*"

标记了默认的同步路径为 ~/OneDrive,由于在首次运行 onedrive 的时候默认就是授权,因此如果要更改同步目录的话,在这里要先在配置文件里面写好。然后运行 onedrive –confdir=”~/.config/onedrive” 开始进行授权操作,这样就会在 sync_dir 处创建对应的文件夹,然后开始下载。

如果要自动同步,在 make install 之后,在 /usr/lib/systemd/user 下已经被创建了一个 onedrive.service 文件,类似这样:

[Unit]
Description=OneDrive Free Client
Documentation=https://github.com/skilion/onedrive

[Service]
ExecStart=/usr/local/bin/onedrive -m
Restart=no

[Install]
WantedBy=default.target

如果想要同步多个账户的话,把 ExecStart 改成类似于 onedrive -m –confdir=”~/.config/onedrivePersonal” 这样带有配置文件目录的形式。之后:

systemctl --user enable onedrive
systemctl --user start onedrive

就可以启动服务自动运行了。

如果不想使用 User Service,希望在系统启动时运行,则在 /etc/systemd/system 下创建 onedrive.service,写入类似于:

[Unit]
Description=OneDrive Free Client
Documentation=https://github.com/skilion/onedrive

[Service]
ExecStart=/usr/bin/sudo -u <user> /usr/local/bin/onedrive -m --confdir="/home/<user>/.config/onedrive"
Restart=always

[Install]
WantedBy=default.target

之后:

systemctl enable onedrive
systemctl start onedrive

切记,不能在授权完成之后,复制 config 文件并更改 sync_dir,然后直接用 -m 参数运行 onedrive,这样会使得该程序认为本地有全部删除的更改,会直接删掉 OneDrive 上所有文件。所以一定要先写配置文件再授权。

最后记录一下添加 SMB 打印机的过程,Linux 通过 CUPS 管理打印机,但是图形界面的管理未必好用,可以尝试用 localhost:631 来管理,注意 cups-2.2.7 在 Linux 版 Chrome 上有 bug,会出现 unauthorized error,这个需要升级到 2.2.8 或者使用 firefox。具体配置可以看 Arch Wiki