自建 NAS 方案分享

[Hengtang]

楼主是个爱好摄影的嵌入式 Linux 工程师，玩摄影多年累积的照片视频也有三四 TB 了，之前一直放在电脑上，后面电脑重装过担心日后数据丢失，就搭了这台 NAS 。从一开始的纯文件服务器慢慢攒成了多功能的个人 Server ，在此做个简单的方案分享，也想看看大家的方案和经验分享。

软路由的话另外搞了台树莓派 4B+以前的华硕 TUF AX3000 做 AP ，路由器这种东西还是独立出来要稳定可靠一点。

这一套体积小巧，性能也比较可观，我的大部分服务都跑在这台 NAS 上，云服务器只跑了 frps 和 Nginx 作为中转。

不过也是有问题的，比如这块主板的扩展性还是比较普通，只有一个 PCIE x16 、一个 x4 、一个 x1 ，现在处于完全插满的状态，也无法扩展万兆，后续大概率会换超微的服务器板子。并且因为板载的 RTL8168 网卡没有 VMWare 官方支持，社区驱动也只支持到 ESXI6.7 ，为了上 8.0 版本还特地弄了张英特尔网卡。

稳定性倒还不用担心，电源基本是往最好的买，华南金的 x79 也用了有六七年了，没出过什么大问题。然后就是这套的功耗还是相对高的，软 Raid 并且扩展卡也不支持交替启动，没有开硬盘休眠，8 个 3.5 寸盘的功耗是不小。平时总功耗 70 到 80 ，带负载比如开 Emby 解码可能会到 100 多。

硬件

• CPU: E5-2650L v2 (10C20T 1.7->2.1GHz)
• 主板: 华南金牌 x79 ZD3 M-ATX 胖板
• GPU: NVIDIA Tesla P4
• RAM: Samsung DDR3 Reg ECC 16GB x 4
• 系统盘: Gloway M.2 NGFF 512GB x 1 + Gloway Sata 512GB x 1
• 缓存盘: Samsung 980 M.2 NVME 1TB x 1(读缓存)
• 数据盘: Seagate Ironwolf 4TB x 8
• Sata 扩展卡: 乐扩 PCIE 转 8 口 Sata 转接卡(Marvell 双芯片方案)
• 网卡扩展: 乐扩 I225-V 2.5G 扩展卡
• 电源: 益衡 7660B 600W 80Plus 铂金 Flex 电源
• 机箱: 拓普龙 8 盘位 M-ATX

操作系统

• 虚拟化底层: ESXI 8.0.0
• NAS 虚拟机: 黑群晖 DSM7.1.1(DS3617xs 版本)
• Linux Server: Ubuntu 22.04 LTS
• 云桌面: Windows 11H2

应用

备注: Docker 大多跑在 Ubuntu 上，群晖的 Docker 面板好用但是实测性能会差一些

• 相册、文件、Office 等: 群晖 DSM(确实好用，尤其相册，开源方案没法儿达到的体验)
• 多媒体服务器: Emby Server(Ubuntu 直装, 已入正)
• 视频任务、种子搜索、字幕管理: NAS Tool(Docker) + Jackett(Docker) + ChineseSubFinder(Docker)
• 音乐: Navidrome(Docker) + Subtracks(Android)
• 阅读: Calibre Web(Docker)
• RSS: TinyTinyRSS(Docker) + Fluent Reader(Windows/Linux) + Focus Reader(Android)
• Diagram: Draw.io(Docker)
• BT: 迅雷 NAS 版(DSM) + QBittorrent(Docker) + Aria2 Pro(Docker)
• PT: Transmission(Docker)
• 密码管理: Bitwarden(Docker)
• 博客: Wordpress(Docker)
• Wiki: Wiki.js(Docker)
• 图床: Lychee(Docker)
• 编程: VSCode Server(Ubuntu) + Jupyter Lab(Ubuntu)
• Git 服务: Gitea(Docker) + GitNex(Android)
• CI/CD: Drone CI(Docker)
• ChatGPT 前端: ChatGPT-html
• Docker 管理: Portainer Community(Docker) + 各种设备端装 Agent(Docker) + Portarius(Android)
• 云游戏: Games on Whales(Docker) + Steam Link(Ubuntu) + Steam(Docker + Ubuntu)
• 模拟器游戏: Emulatorjs
• 测速: HomeBox(Docker)
• 监控面板: Prometheus(Ubuntu) + Grafana(Docker)
• 异地组网: Zerotier + OpenVPN
• 远程桌面: RDP + RustDesk(Docker)
• 内网穿透: Frps(腾讯云) + Frpc(OpenWRT)

其他内容

• 硬件直通情况: NVIDIA Tesla P4 给了 Ubuntu ，Samsung 980 和乐扩 Sata 扩展卡给了黑群晖。
• 硬盘分配情况: 两张光威的盘均作为 ESXI 的系统和虚拟机存储盘使用。8 张 4TB 机械盘分成了两组，每组 4 块各自组了 SHR-1 的阵列，一组作为重要文件存储池，一组作为非重要文件存储池。三星 980 作为群晖的读缓存使用, 分成了两个 500G 的缓存分区，分别给前述两个存储池使用。

[bboysoulcn]

和我一样 gitea+drone ，不过 gitea 也要出 ci 了

[laincat]

真 all in boom 。。。

[Hengtang]

@bboysoulcn Drone 的写法比较自由感觉用起来比较舒服，而且扩展性也比较强

[bboysoulcn]

@Hengtang 对的 YmJveXNvdWxjbkBnbWFpbC5jb20=

[Hengtang]

@laincat All in boom 主要是软路由跟其他的混一起了，我的软路由单独一个设备了。其他的东西个人玩家也不会去搞一堆设备，而且我的重要文件都通过群晖的 Drive 在电脑上同步了一份，最近还在准备给老家弄一台容量稍小的给家人用同时作异地灾备。这只是内容多，不叫 All in boom 。

[yyysuo]

哇，all in boom ，I like it.

[bboysoulcn]

@laincat 曾经拥有 8 块树莓派的人和你说，家里机柜首先最要解决的不是 all in boom ，而是电力问题，如果家里电力问题不能很好的解决，一年 boom 几次很正常

[Hengtang]

每次在网上看到 NAS 相关内容的时候总有人嚷嚷 All in boom ，确实很讨嫌。首先，个人玩家大部分没有金钱也没时间去购置和维护那么多设备，其次，boom 的原因很多时候真的只是因为你菜。。。
我这一套已经稳定运行很久了，ESXI 都从 6.7 升级到了 8.0 ，群晖也从 7.0 到了 7.1.1 。只要别在关键的电源和硬盘上面省钱，上 ECC ，准备好 UPS ，做好灾备，多学学技术多折腾折腾，没那么容易 Boom 。怕影响家人的话，最紧迫的软路由可以独立出来。

[taolinxs]

我的方案是 路由器插优盘装 docker 跑个网盘，ipv6 ddns 实现域名访问，目前在用 AX9000 感觉很丝滑。[滑稽]

[laincat]

emmm ，好像大家不喜欢这个称呼，并不是贬义。是感觉好厉害！！！哈哈哈

[Hengtang]

@laincat 确实不喜欢，B 站刷视频的时候也老看到这个也觉得怪怪的。个人玩别把软路由和其他放一起就得了，甚至都算不上 All in one 。主要是分开的成本也确实太高

[Hengtang]

@taolinxs 需求简单的话确实搞个软路由或者硬路由刷机也够了，我之前 TUF AX3000 也刷了 Koolshare 固件，后面开始玩软路由就把硬路由刷回去了，硬路由只作 AP 和交换机，毕竟硬路由的内存和 CPU 性能相对还是弱了点，稳定为主

[doublezhang]

tesla p4 用的啥散热方案啊

[Hengtang]

@doublezhang 20 块钱买了个散热器。不过说实话这个卡最高才 75W ，实测跑游戏也就五六十 W ，解码 20 来 W ，待机 4W ，散热压力很低。裸奔用过几天，温度也就五六十，不过我是冬天测的裸奔。后面还是装了散热器，反正也便宜，安装也简单，几分钟的事儿。

[cainiuwow]

nice ，软硬件整的漂亮，能用的功能基本都装上了。有 raid 、有 P4 、有缓存。


我也 all in one ，unraid 做底层。
正常使用根本不会 all in boom ，docker 、虚拟机都是各自独立的，除非底层系统坏了才会 boom ，否则不会有什么问题。
重要资料都异地备份+冷备份，系统坏了就重装。

[Hengtang]

@cainiuwow 是的，不同操作系统的文件存储也独立开了，加了 UPS ，同时用群晖的 Active Business Backup 给其他系统做了每日自动备份，重要文件也自动镜像同步到 PC 上了，除非整机物理损坏，坏一张盘也不会 Boom 。为了防止极其小概率的火灾这种事情，我还打算在老家也装一台，自动同步重要文件，作异地容灾

[antonius]

很喜欢 OP 的方案，看得出来是逐步迭代的。这个比市售 NAS 商业方案强大多了，完全就是 home lab 的级别。也不算 all in one ，至少没有软路由啥的。我个人也倾向于 OP 的这个思路，适合自己的就是最好的。

[mrzx]

哈哈哈哈哈，我的 nas 就是个单纯 nas,我都想到硬盘坏 2 块以上，服务器主板，CPU ，内存，甚至除硬盘之外所有硬件和 NAS 系统都坏掉的情况下，我的数据也必须丢不了的补救措施(采用此方案前，已做过测试)。。。

all in one 是满足了功能性。可是对数据安全性几乎没人任何保障。那就是极易变成 all in boom

而且之所以你们用 all in one ，那只能说明，你们对数据安全性和网络，读写及缓存性能没有多高需求。。

其实适合自己就行。每个人的需求又不一样。。。。

楼主的方案更多的是偏向功能性，可玩性和经济型（省电）。。人吗，每天回来需要有事能折腾，打法时间最重要。

[bobryjosin]

乐扩的卡之前在群晖和 omv 下会掉盘，后来就换成了直通卡就没掉过了，也可能是我主板问题，我的 all in boom 方案是
--
CPU:i5-10400
RAM:七彩虹 16G DDR4 x2
主板:msi B460m 迫击炮 matx
电源:Tt 金牌 450w
主板插槽分配
- x16 槽插了个 intel x520 光口万兆卡
- x4 插了一张 IBM 直通卡
- x1 给了双电口 82576 网卡
sata 硬盘
- sandisk 120g sata 固态装 esxi
nvme 槽 x2
- Samsung sm961 256g 用来装虚拟机实例
- WD sn770 直通给 omv 挂 iscsi 共享给 windows 当游戏盘
直通卡
- 2 块西数 4t 仓库盘，两块 1t sas 组 raid0 挂 bt
VM 分配 /Network
- 爱快（拨号，dhcp ，ddns ）
- openwrt 旁路由（科学）
- ubuntu server 22.04 VM x2 （ docker ，jellyfin ，minecraft server ）
- openmediavault （ smb ，nfs ，iscsi 共享）
- 网络
直通 82576 x1 ，2.5g 网口 x1 ，x520 x1 给 爱快
剩下一个 x520 划出一个虚拟交换机，所有 vm 默认接入这个交换机
主力 PC 接入 x520 第一个端口，剩下的一个光转电接口接到硬交换机
无线路由是一个电信送的中兴 wifi6 路由，挺稳的
剩下的一个 82576 作为管理口，接到 tp 的一个无线路由，平时家人都是用这个网络，方便隔离，我炸了不影响家里的网
络
--
平时待机低负载大概 70w 左右，带宽拉满 140w
整个网络都靠这台机器，从今年 6 月份开始服役，中间除了小区停电，一直都是在线的。
媒体整理虽然我直通了核显给 ubuntu 但是平时用的很少，同步是 foldersync 直接同步文件夹。
all in boom 可好玩啦（ doge

[Hengtang]

@mrzx 是的，不过我这套并不省电。不过我这一套也可以做到硬盘之外所有硬件和 NAS 系统挂掉也丢不了数据啊。并且即使极限情况包括硬盘在内的全挂，我的重要文件也在 PC 里面有镜像同步，后面还会作异地容灾，那就可以避免最极端的火灾情况。而且因为其他操作系统和群晖的存储设备是分开的，除了共享 CPU 和内存外，本来就是完全独立的系统。

[Hengtang]

@bobryjosin 我这张卡还没遇到过掉盘的情况，比较羡慕你可以上万兆，我这套想上万兆只能换板子了，毕竟 Emby 转码是刚需，显卡得保留。你这里有网络隔离的话主路由也放上去就没啥事儿，我都是一个网络，怕折腾的时候有需要联网的内容而路由系统又没跑起来的情况，所以软路由就搞了单独一个设备

[Hengtang]

@antonius 主要是云服务贵，好多能自建的内容自建会省不少钱

[mrzx]

@Hengtang 还是省电啊，这些设备拆开来单独供电要多少电费？

你安装 esxi 的系统盘和数据盘 硬盘做 raid 了吗？做了 raid 你保证 raid 卡会不会坏？我接手很多服务器的项目，到最后很多都是 raid 卡花掉而且还停产。

至于其他的机械硬盘你通过黑群晖组了软 shr-1 阵列，你遇到过硬盘损坏，恢复 SHR 阵列的实际操作起来有什么弊端吗？而且群晖系统本身崩溃了会如何呢？而且 shr-1 只允许一块硬盘损坏，我遇到 2 次重组阵列的时候，在阵列没重组完成的时候，其他硬盘也损坏的情况，但 shr-2 写的性能又比 shr-1 慢。。。。

至于 980 缓存盘才一块，而不是两块，你知道如果缓存盘 980 一旦损坏，会发生什么事情吗？尤其是你缓存还没写完时，突然缓存盘损坏的情况？一般缓存盘最少也要 2 块，做 raid1 的。


我没见过不坏的硬盘，只是时间长短罢了。运气好，10 年前项目的服务器上的硬盘都还建在，运气不好。。。一年一台坏几块硬盘也不少见

所以，最保险的，你还是只能冷备份，做镜像同步，做异地容灾，因为 all in one 的机器有太多的不稳定因素。

[lookStupiToForce]

看到前面这么多人说 all in boom ，虽然感谢了 OP ，我也提一嘴
单独把软路由独立出来并不是不能叫 all in boom ，而是已经集成了这么多功能，确实可以叫 all in boom 了

没 boom 只是你运气好没遇上，我这儿成都，见过因为邻近地区偶发地震导致正在备份的原盘和备盘同时损坏的事，这还是在不同机房。
平时真没人在意这些，此后不得不准备异地容灾

[Hengtang]

@mrzx 你说的这些操作我都做过。
我恢复过带缓存 SHR-1 的阵列，无非就是耗时比较长而已。
缓存损坏的情况也遇到过，因为 DS3617xs 使用 NVME 需要修改 libsynonvme.so 动态库，第一次 DSM 升级版本后动态库被覆盖回去导致 NVME 无法读取，存储池损毁。这种情况改完动态库存储池一样成功修复了。
至于硬盘缺失、损坏需要重建 SHR-1 的情况我最开始电源方案没定的时候也遇到过，一样修复了。
缓存只有一块的原因是主板只有一个 NVME ，并且这只是读缓存不是读写缓存，群晖一块缓存盘是不能作写缓存的。
ESXI 系统盘坏掉我也遇到过，直接升级 ESXI 到 8.0.0 的时候掉引导就遇到了。无非重装一下 ESXI ，群晖的系统在它直通的硬盘里，重新引导一下即可。其他虚拟机我都通过群晖的 ABB 每天自动备份，即使虚拟机系统全丢，先恢复群晖然后通过群晖恢复其他虚拟机就行了。
并且 ABB 的备份文件、我的其他重要文件全部在 PC 端每天自动镜像同步，即使把这台 NAS 直接拿锤子砸了，虚拟机和重要文件也都在，会丢的只是没备份的那些比如下载的电影电视剧之类而已。

[ryd994]

CPU 其实没必要买 L 的。L 是功耗上限低，功耗下限和别的是一样的。家用大部分时间都是空载，L 并不省电。
然后这个 pcie 转 SATA 真的换掉吧。二手 M1015 ，刷 IT 固件就是 SAS HBA ，买条 SAS 转 SATA 线就可以插 SATA 盘。正经服务器配件，怎么也比这些个小厂的 SATA 卡靠谱。而且 SAS 线都是细线，对通风散热也好。

我认为，all in one 的问题主要是安全，这个楼上讲过了。
其次是功耗。nas 是不应该关机的，保护硬盘。晚上可以跑一些维护性的任务，比如 zfs scrub 。那晚上这些显卡也是耗电的。一年下来的电费不少了。我的 nas ，6 盘，空闲功耗 55-60w 不到。

游戏、云桌面，大可以放到第二台机器上。放一起表面上省了一套主板 CPU 内存电源，实际上亏了电费。
游戏机从 nas 上分离出来以后，就不需要考虑功耗问题，也不需要考虑安全问题，洋垃圾什么便宜捡什么，不用的时候关机。

[powergx]

买个 hba 直通 freenas 我用了 10 年了，稳

[Hengtang]

@ryd994 这个卡直出的是两个 SAS SFF 8087 ，转 Sata 只是最终目的。
然后你这功耗也没低多少啊，我是 8 盘位整机空闲七八十 W 。而且这个显卡跟家用卡不同，功耗非常低，空闲只有 4W

[Hengtang]

@ryd994 L 系列 CPU 还是要低不少的，我 E5 2690 、E5 2650L v2 、E5 2687W v2 都用过很久，2650L v2 闲置功耗还是低很多的，毕竟主频低

[Hengtang]

@powergx 乐扩这张卡是用的两块 Marvell 88SE9215 的方案，是 HBA 直通

[ryd994]

@Hengtang 如果和主频无关啊。空闲就应该降频。主频低是默认的倍频低。降频降的是倍频不是外频。最低倍频大家都一样。
首先那个 Sandy bridge 就不要拿出来说了
34nm 和 22nm ，制程不一样功耗也不一样
其次带 W 的是 workstation ，频率设置和其他的也未必一样

带 L 省不省电，这个问题你随便搜下都是很明确不省电
https://www.reddit.com/r/homelab/comments/ta7ldd/lower_wattage_xeons_power_draw_and_thermals/
https://forums.servethehome.com/index.php?threads/is-it-worth-to-replace-e5-2670-with-2630l.9983/


你这卡并不支持 SAS 协议。8 口就是只有 8 口。但是 SAS HBA 可以加 expander ，今后如果需要扩展，上限几乎无限。我搜了一下你这卡淘宝上卖 300 左右。你搜搜 9220 sas 卡多少钱？而且，还是那句话，这是正规大厂服务器硬件，比小厂的用料和稳定性只好不差。也是 freenas 推荐的 SAS 卡，freenas 社区都强烈反对任何 SATA 卡。

我这功耗高是因为我用的是西数拆壳白标盘。标称 5400rpm ，实际上是 7200rpm 的氦气盘，是日立的技术。你搜搜 backblaze 的数据，日立、西数的盘的故障率比希捷的低得多。
去掉机械硬盘，功耗只有 15-20w

[hanssx]

我也是 all in one ，不过我功耗很高，主要可能是显卡 1660s(直通给 windows 了)+单 cpu 8352y+双路超微主板的原因，目前 200W ，1 个月电费算下来小 100 ，勉强还能接收，平时是 windows 直出显示器作为主力机在用，我虚拟机里面是旁路由，怕出问题影响整体路由，所以路由一定要独立出来一套。

我还在折腾上 NAS ，在黑群和 TrueNas 上考虑选哪个方案。

另外，楼主 P4 直通给 Ubuntu 是为了 RDP 硬件加速吗，现在 Ubuntu 22.04 的 RDP 支持硬件加速了吗，CUDA 加速么？好像 RDP 服务是 GNOME 4X 带的。

[0o0O0o0O0o]

@ryd994 考虑开个新帖多说点吗？爱听，要是有完整又实惠的方案抄就更好了🤤

[hanssx]

@ryd994 确实分 2 台电脑比较好，1 台主要是 nas+其他，另外 1 台是可以关机的那种，但是吧，等你用久了你会发现，关机的次数也很少，我现在也有点后悔没这么弄，当初追求高性能，现在电费多出一倍，每年多出 500 ，不过想想，500 也能接收，想买回来一套主板 CPU 内存的钱，估计得个 5 、6 年。

[Pogbag]

应用选择和楼主基本一致

[sundev]

都是家用，毕竟受限于场地、噪音、资金没办法，计算冗余、存储冗余、网络冗余这些都是钱！更多的自己折腾，学习技术，感觉挺好的！

[ryd994]

@hanssx 为什么不关机啊？不是游戏 /工作机吗？晚上没必要开着吧，至少可以待机。如果晚上有必要开着的服务，那就移到 nas 的虚拟机上。
比如我就不会常开游戏电脑。炼丹的人也不需要 7x24 小时炼丹吧？怎么说炼几天也得休息几天，用个脚本自动触发待机就好了。
待机，要用的时候可以 WOL 触发。

@0o0O0o0O0o 我在国外，价格不一样的。看下来比较省钱的其实是找当年装机量比较大，评价不算差的机型，然后照着配置单买配件。机箱电源这些可以买普通的，比如我就买了静音机箱。
配件我基本上是看 truenas 的社区硬件指南，因为我需要的就是 nas 而已。
我买到特别便宜的配件是从 ebay 拍到的，反正也不急用，就慢慢拍。$29 买到了 7x16GB 的 DDR3 REG ECC ，正常来说我觉得最便宜也只能到$8/16GB 左右。淘宝可能有更便宜的的吧。

[18500592934]

@Hengtang 我的软路由就是和其他的混在一起了，只要服务器一挂，就全部完犊子了。
之前我的软路由单独一个设备，后来设备坏了，懒得修理，就 all in boom 了。
目前除了 esxi 中的网络似乎有些问题外，其他的都还好！

[18500592934]

@Hengtang 老哥，ups 是不是成本太高了！！！家用搞这个安全吗？？？我现在一个 500w 的电源带了七八个小设备(路由器这种的)，都害怕它出问题！
我对 ups 不是很了解啊，理解就是一组电池备用供电！上面有问错的地方还望老哥理解啊！

[kingdream123]

大佬请教一下用 Zerotier 打洞后，还需不需要配置 OpenVPN 增加安全性呢

[Hengtang]

我自己是用的山特 TG-Box 850 挂到树莓派 4B 软路由上，可以参考我写的一篇文章 https://luqijian.com/2023/01/08/openwrt-with-ups-tutorial-based-on-santak-tg-box-850/

[Hengtang]

@18500592934 我自己是用的山特 TG-Box 850 挂到树莓派 4B 软路由上，可以参考 41 楼的链接

[Hengtang]

@kingdream123 可以加一个，我自己加了。毕竟如果出去旅游之类的不能保证每次都打洞成功，有备无患