这是一个创建于 1128 天前的主题，其中的信息可能已经有所发展或是发生改变。
说前提：
R720xd, Esxi 7.0 U2, Intel X540 万兆 SR-IOV 给 WinServer 2019 作为 NAS 使用
发现问题
发现 samba 局域网共享听歌总是卡顿，iperf3 测试 UDP 丢包达 80%以上！
处理经过
- 怀疑网线或网口问题，更换了多个，没解决
- 怀疑主力机问题，格式化重装系统+更换万兆网卡+尝试板载网卡，还是丢包
- ESXi 上 win server 从 2019 换到 2016，虚拟机都是彻底删除重新建立的，无效
- 怀疑局域网内设备问题，比如 ARP 缓存之类的，路由器+万兆交换机双双重置，无效
- 索性将 ESXi 整个格式化了重新安装，无效
细节阐述
- ESXi 上的 winserver 2019 做 server 端，主力机做 client 端，测试丢包
- 主力机做 server 端，ESXi 上的 winserver 2019 做 client 端，不丢包
- iperf3 测试过程中使用 wireshark 抓包，只看 UDP 协议，没有异常包出现
剩下只能怀疑是 windows 系统层面的问题了，但是这块参考 ESXi 和 windows 的策略均无效，
- 网卡参数，巨帧开关，测试还是丢包
- 网卡参数，接收缓冲区，传输缓冲区，改了还是丢包
- MTU 更改，还是丢包
头都大了，有大佬碰到过这种问题或有什么思路吗
第 1 条附言 · 2021-03-24 17:24:20 +08:00
忘了说了，
- 宿主机下的另一个虚拟机Ubuntu，同样的SR-IOV虚拟化网卡，UDP都是0.0x%的丢包率，应该算是不存在丢包了
- 直接搞块pcie的独立万兆网卡，直通上去后还是丢包
winserver的嫌疑最大，但不知从何处下手
第 2 条附言 · 2021-03-24 21:36:01 +08:00
 |
1
defunct9 2021-03-24 15:16:39 +08:00
没头绪，开 ssh，让我上去看看
|
 |
2
hs0000t 2021-03-24 15:19:30 +08:00 via Android
是不是跟 smb 版本有关系？
|
 |
3
vibbow 2021-03-24 15:29:19 +08:00
第一想法是去更新 firmware...
|
 |
4
willamtang 2021-03-24 15:35:25 +08:00
绕过交换机直连看看还丢包么
|
 |
5
LaTero 2021-03-24 15:44:10 +08:00 via Android
iperf3 的 udp 好像有问题，换个再测测看？
|
 |
6
tankren 2021-03-24 15:45:42 +08:00
搞个 Ubuntu 虚拟机测试先咯 虚拟化的便利性不利用干啥
|
 |
7
dawnh 2021-03-24 15:55:34 +08:00
有没有经过交换机？有的话看一下交换机是不是又组播相关设置，IGMP snoop 之类的。虽然可能性不高但我见过类似案例的也就这一种可能了。
|
 |
8
kokutou 2021-03-24 16:13:18 +08:00 via Android
就没试过绕过交换机吗。。。
|
 |
9
frostnotfall OP @hs0000t #2 这个应该不是吧，因为丢包没走 smb
|
|
10
frostnotfall OP @willamtang #4 交换机也换过，直连到没试过，因为是虚拟化，宿主机和虚拟机都走一根网线
|
|
11
frostnotfall OP @vibbow #3 firmware 倒是没想过，反正虚拟机上的 intel 驱动换了个遍，另外宿主机的驱动是集成的，想换也没别的
|
|
12
frostnotfall OP @kokutou #8 试了，双方都连路由器，也没用
|
|
13
frostnotfall OP @dawnh #7 IGMP snoop 交换机上有，但是从来没设置过，回去试试，但是好像也不对，都是走的交换机，为何 Ubuntu 没事
|
|
14
frostnotfall OP @LaTero #5 有什么其他测试 UDP 丢包的工具吗？
|
 |
15
weyou 2021-03-24 17:50:14 +08:00 via Android
网线直连 nas 网口测 iperf
|
 |
16
ch2 2021-03-24 18:09:05 +08:00
tcpdump
|
 |
17
hahastudio 2021-03-24 18:17:12 +08:00
我前几天更新 Windows 也遇到了类似的问题
我的 Windows 是装在 Parallels 里的虚拟机，NAS 是用 samba 共享的 目前我缓解的办法是在 Parallels 里不用独立网卡了，跟 macOS 共享网络然后就没问题了 想起来你可以试一下 TCP 有没有类似的问题，出问题的时候我用 Windows 访问 NAS 上的 web service 都有问题 |
|
18
LaTero 2021-03-24 19:07:47 +08:00 via Android  1
@frostnotfall 试试 nuttcp，我之前也是 iperf 报了很高的 udp 丢包，查到了很多相关 issue 和提问，看到 nuttcp 试了下就很正常。
|
 |
19
gBurnX 2021-04-18 15:55:35 +08:00
1.首先要确保，除了 R720xd 之外，其他所有设备，包括别的电脑、网卡、路由器、交换机、网线或光纤，都必须在万兆环境下，测试过，并且能达到线速。
2.R720xd 全格，装 Windows，然后两台 Windows 直接用 Dukto 在内网测网速试试。 测速时，两台电脑请打开任务管理器来监视 CPU 使用率与带宽使用率，打开资源监视器来监视磁盘负载（活动时间）。确保这三个指标低于 100%。 3.如果 3 指标都低于 100%但速度达不到线速，两台电脑换 Linux 系统试试。Linux 系统建议用 ftp 来测试。 测试时，两端打开 top 来监视 CPU 使用率，用 iostat -x -m -d 1 来监视磁盘负载（%util ），用 dstat -t -n -d -c -m -p -s --tcp --udp 来监视网络。 如果还不行，换网卡。 还不行，怀疑机器硬件问题。可以用硬件设备的逐个替换法来实验。比如换个主板，换个 CPU，换个内存等等。 |
|
20
frostnotfall OP 同步后一个发帖：
困扰半年多的局域网速度问题终于解决了，其中原因令人“暖心”： WinServer 2019 默认开启 RSC （ Receive Segment Coalescing ），可以搜索下 RSC 是什么，简单说就是大量小的数据包交由网卡合并成大包后再交给 CPU，（而之都是由 CPU 直接处理），因而降低了 CPU 的使用率。 微软的初衷是好的，但网很多网卡都出现了严重的性能下降问题，从 Intel 到我的 AQC107 都这样。 结合上面的抓包，丢包导致重传的原因是 CPU 误以为数据包超时了引发重传，其实这时候数据包正在网卡内部处理，正等着继续整合后续的数据包后统一再发给 CPU 的。 我发现问题的时候正是升级到 WinServer2019 之后，然后再退回 WinServer2016 还是不行，就没想是系统的问题。 |
Select Language