笔电/PC世界

我用 3 块企业级 SSD,装了一台万兆全闪存 NAS

早在去年 6 月,我在B站UP: 无情开评大佬那里看到了单盘 15.36TB 的 2.5 英寸 SSD,当时就萌生了用全 SSD 打造一台 NAS 的种子 —— 当时的我绝对想不到,14 个月之后,我真的用企业级 SSD 组装了一台全闪存 NAS

(BV:BV1i64y1t7Rj)

* 真正的全闪存 NAS 都是用在高端行业的,价格往往是百万起步。ET 这次 DIY 的确实是全 SSD NAS,但借用“全闪存”这个说法也只是想小小的标题党一下,还请行业大佬不要见笑。

引子

大概是在 8 月中下旬,西数 SN640 7.68TB 降至约 3000 元。根据旗舰店的商品详情,这是一款支持 NVMe 1.3 的企业级 SSD,采用 96 层 3D TLC NAND 闪存颗粒,拥有很高的读写性能与耐久度。接近 8TB 只要约 3000 元,比 4 根消费级 2TB TLC SSD 还要便宜!唯一阻碍大家购买的就是它采用并不多见的 U.2 接口。

即使如此,我的心还是躁动了起来,并且顺手安利了 @肥威 老师。

方案

想要在成品 NAS 上使用 U.2 SSD,目前最好的选择就是威联通 TS-h973AX。它提供 5 个 3.5 英寸盘位,2 个 U.2 / SATA 盘位和 2 个 2.5 英寸盘位。处理器是基于 ZEN 架构的 AMD V1500B,可以使用 QuTS Hero 系统,标配了 2 个 10GbE 电口和 2 个 2.5GbE 网口。完全可以胜任小型视频团队的当前素材和长期存储需要,官方定价约 7000 元。

但我并不满足于此:一方面是两个 U.2 只能组 RAID1,空间利用率只有 50%,降低了容量 / 价格比。另一方面就是 V1500B 处理器的性能还不够好,不能支撑我在这个 NAS 上做更多额外操作。当然,威联通比 TS-h973AX 更高端的产品也有:比如提供 12 个 U.2 盘位的 TS-h1290FX,或者 4 个 3.5 英寸盘和 5 个 U.2 盘位的 TS-h987XU-RP —— 它们都采用了服务器级别处理器,不用问都知道价格一定很夸张。

所以,想要同时使用 3 块及以上 U.2 SSD,我只能选择自己组装这条路了

核心点是如何支持多块 U.2 SSD。这里主要有 3 种方法:

自带 U.2 接口的服务器 / 工作站主板。优点是为长时间开机设计,稳定可靠,缺点是价格高。而且我也没接触过,不确定组装过程中会不会遇到额外问题。

普通主板 + 支持 PCIe 通道拆分的扩展卡。U.2 SSD 也是走 PCIe 通道的,想要同时使用多块 SSD,通常需要把主板上的 x16 插槽分成 4 个 x4。绝大多数 Intel 主板都不支持这种拆分模式,所以需要一个带拆分芯片的扩展卡。不带阵列功能的扩展卡,价格倒是也不算离谱(4 口 580 元,非全新),但使用时还需要搭配连接线,据说不是很好理线。

支持 PCIe 通道拆分的主板 + 普通扩展卡。少数主板是支持拆分功能的,这样就能搭配价格便宜的普通扩展卡来使用多块 SSD。而且这种扩展卡支持直插,只要机箱放得下,就可以免去理线的问题。

巧合的是,ET 在今年 6 月抢修电脑时购买的华硕 TUF B450M-PRO S 主板就支持 PCIe 拆分。这块主板买的时候不到 500 元,而普通扩展卡也就 300 元,成本完全可控!

* 构思阶段我也考虑了操作系统,但这部分留到后面再说。

组装

在确定方案之后,遇到了一个小问题是:我的主板提供 1 个 PCIe x16、1 个 PCIe x4 和 1 个 PCIe x1。x16 用于安装扩展卡和 4 块 SSD,x4 用于安装万兆网卡,那么就没有插槽安装显卡了 —— 虽然 NAS 并不需要图形性能,但没有显卡就无法开机。

解决方法是买一个 X1 接口显卡,或者把主板上的 X1 插槽切成开放式的(还是装 X16 显卡)。我选择了前者。一方面怕手残切坏了东西,另外也不想浪费一个正常显卡在上面。

* 为什么不换成 5600G 这样集成显卡的处理器?看主板说明书使用集成显卡 CPU 时,X16 插槽好像只有 X8 带宽,这样就不能使用 4 块 U.2 SSD 了 —— 我不能 100% 确定 5600G 的情况,所以不敢贸然买新 CPU。

虽然前期做了很多思考和验证,包括确认 BIOS、说明以及在现有主机上安装 NAS 系统。但在执行时,我还是选择逐个操作:先买显卡,再买扩展卡,确认安装和供电等细节后,最后再买 SSD。这样虽然拖慢了进度,但能做到随时止损 —— 收到硬盘的时候也是,先安装 1 块确认扩展卡能工作,再安装两块确认通道拆分正常,最后才把 3 块都插上 —— 虽然 @北京硬盘之家 挺好说话的,但我也不想麻烦他再退货(毕竟上机上电的)。

* 原本想一口气买 4 块 SN640 的,付款时犹豫一下:3 块 7.68TB 组 RAID5 或 RAID Z,可用容量也有约 14TB 了,对于我们这个小工作室的素材来说足够了(而且后来开了压缩,利用率又提高了一级)。

其实是有计划换个机箱和电源,再好好拍个图的。但在调试完系统之后,感觉应该适可为止、能用即可。所以安装过程并没有用相机拍图,只是用手机做了简单记录。

配置清单

R7-3700X 处理器(原有)

华硕 TUF B450M 主板(原有)

16GB DDR4 内存 * 2 (原有)

PCIe x1 亮机卡(120 元)

PCIe x16 转 4 个 U.2 扩展卡(299 元)

三星 240GB SSD 做系统盘(原有)

AQC107 万兆网卡(原有)

机箱、电源、CPU 散热器(原有)

2 个 12cm 静音风扇(约 80 元)

除硬盘以外配件的价值大概是 3000 元。选择时请注意下机箱长度:能插 4 个 U.2 的扩展卡,算上电源插头是 314mm,机箱短了会放不进去,我这个 TT S3 就可丁可卯的。

系统

组装好硬件只是成功了一小半,必须安装系统后才能正常投入工作。我最初考虑的是 TrueNAS (也就是 FreeNAS 的后续产品)。安装过程很顺利,也搞定了虚拟机,但很快发现这个系统太依赖命令行了:挂在 EXFAT 的 USB 移动硬盘需要命令行、将内部存储备份到外部硬盘需要命令行、一键清空回收站需要命令行、定时清空回收站也需要命令行…… 再加上页面中加着大量英文,我很快就学废弃坑了。

然后我尝试了 Windows 10 Pro,也就是 Win10 专业版。选它的原因是比家用版多了软 RAID 功能(3 盘以上的奇偶校验模式,类似 RAID5 但细节可能不太一样),然后也多了组策略等管理工具。这个图形界面很熟悉、很容易上手,但问题是 Windows 并不支持在 SMB 共享上的回收站功能 —— 在处理图片、视频素材时候还是挺容易误删除的,所以“回收站”是我的刚需。

* 顺便说一句:Windows 的软 RAID 性能损失很大,我这个 3 块硬盘组阵列才这个表现。当然,应对万兆网络传输还是很富裕的。

之前很多人都觉的威联通的系统难用,不好上手。但经过这番折腾之后,我才发现品牌系统多成熟、多好用、多人性化。所以这篇文章只是 ET 自己的实践记录,并不是劝败贴,很有可能成为劝退贴。

到这里可能有人说为什么不试试“黑群晖”?我是觉得能用正版尽量用正版,买不起也选择开源软件(Win10 专业版价格还能接受,而且不激活也能持续用)。所以在放弃了 TrueNAS 和 Windows 之后,我选择了另一个开源 NAS 系统:OpenMediaVault(OMV)。这一次,总算渐入佳境了!

OMV6

OMV 是基于 Debian Linux 的开源 NUS 系统。硬件兼容性非常好,可以在包括树莓派在内的很多硬件上运行。我安装的是最新的 OMV6。安装过程中有两个注意事项:① 选语言时要选英文,因为选中文会在命令行操作时遇到乱码,后面进入网页管理界面时候再改成中文就行了。②是软件更新源推荐选清华大学的源。

OMV 系统本身功能比较简单,深度依赖 OMV-Extras 插件扩展包。网上有很多教程,针对老版本的上传时安装已经不能用了,而执行脚本的可能因为网络问题而无法正常运行 。我最后是找到了清华大学开源软件镜像站上 OMV-Extra 的地址,然后一个个敲进去执行安装的 —— 肯定不应该这么麻烦,但如果你遇到 OMV-Extras 无法安装的情况,相信我肯定可以解决的。

* 如果您也需要手动输入地址,可以先进入这个目录确认最新版的版本号

https://mirrors.tuna.tsinghua.edu.cn/OpenMediaVault/openmediavault-plugin-developers/pool/main/o/openmediavault-omvextrasorg/

OMV-Extra 不仅提供了 Docker,还带来了非常多的额外插件,可以实现 ZFS、虚拟机、USB 备份、自动关机等。总之,我想要的功能基本都能得到满足。界面虽然不如品牌系统那么好操作,但至少“插件”就像应用中心,界面的中文化也非常高。

最后,我用 3 块 SN640 组成了一个 RAID Z1 存储池(类似 RAID5)、使用 LZ4 压缩提高了空间利用率(对照片文件压缩比很可观)。SSD 本身大大提高了系统响应和文件信息查看速度,实测也可以轻松跑满万兆带宽(这里还有 ZFS 系统利用内存做缓存的关系)。

OMV 里关于回收站的设置也很简单,可以为每个文件夹设置自动清空时间也更灵活。

为了不浪费处理器性能,我在上面安装了一个 WIN10 虚拟机。在这个虚拟机上登录相机笔记、溢图科技在各个平台上的发布账号,工作室小伙伴再也不用换一个人操作就要找我问一遍验证码了。

小结

因为老的 NAS 还在服役,目前没有时间重新给网络区离线,这次就先不上环境图了。然后 16GB 内存在运行虚拟机(8GB)和大文件读写时候会爆掉(ZFS 太吃内存了),等双十一调整工作室电脑后再把内存补到 32GB。

这次主要还是想满足自己折腾一下的心理。你说用这个“全闪存 NAS”能给我们工作室提升多少效率,只能说没有机械硬盘工作后确实安静了不少……

其实我很清楚,无论是批量 RAW 转换还是 4K 视频剪辑,1、2 台电脑同时访问 NAS,并不会给硬盘读写和网络带宽带来多大的压力 —— 或者说吃满硬盘和网络之前,你的电脑先卡死了(在 Mac Studio 上用达芬奇播放 4 条 4K 轨道,网络需求也在 2.5GbE 范围内)。我追求全 SSD 和万兆网络,只是想比大家跑得稍微快一点,这样才能在测试之后告诉大家什么是刚刚好的、更划算的

最后,附上一些用到的工具软件名称。

Rufus:将 ISO 写入到 U 盘里,做成安装盘。

FileZilla:通过 SFTP 向 NAS 上传文件,比如虚拟机用的安装镜像。

tightvnc:获得虚拟机的运行界面。OMV 和 OMV-Extra 都没有提供这个功能,而 TrueNAS 就自带了网页版 VNC。

Todesk:比通过 VNC 更稳定、更快速、更好用(中文的)。但要先用 tightvnc 完成系统安装,才能装 Todesk。

putty:SSH 工具,没有这类工具,就只能给 NAS 接上键盘鼠标然后自己敲命令了……

本文来自微信公众号:相机笔记 (ID:xjbiji),作者:滕飞 et

希望看到您的想法,请您发表评论x