RoCE多网卡时,报文可以过去,但是回不来

摘要:虽然网卡是接入RoCE网络,但其实问题本身是单纯路由相关的,所以看的时候,不用关注RoCE,只当做一个独立子网就行了

本文分享自华为云社区《<跟唐老师学习云网络> - RoCE多网卡时,报文可以过去,但是回不来》,作者: tsjsdbd 。

一、网络概要

一台机子,接入2个子网,一个普通通信的,一个高速通信的。并且接入高速通信子网,有8张网卡。如下图:

本文描述的问题,只关注高速子网这一部分。为帮助理解问题,网络可以简化为:

每个网卡,都有分配该子网的一个IP。如下:

二、问题现象

A只能通B里面的一个IP,其余7个IP都不通。下图为A--->B 的结果:

图示:只有1个IP能通

反过来也一样,后面只讲一个方向的(A-->B)。

三、问题定位

1.先看报文有没有到达B。

如果都不能到B,说明网络接的有问题。如果到了B,但是不回来,说明路由配置可能有问题。

Ping不通的ip(228)时,在主机B上面进行抓包分析(228对应的网卡名是enp80s0f0,所以这里监听这个网卡):

tcpdump -i enp80s0f0 -n arp
listening on enp80s0f0, link-type EN10MB (Ethernet), capture size 262144 bytes
17:02:23.720556 ARP, Request who-has 29.28.195.228 tell 29.28.204.80, length 46
17:02:24.758954 ARP, Request who-has 29.28.195.228 tell 29.28.204.80, length 46
17:02:25.782954 ARP, Request who-has 29.28.195.228 tell 29.28.204.80, length 46
17:02:26.807063 ARP, Request who-has 29.28.195.228 tell 29.28.204.80, length 46
^C

可以看到,报文能到B。

2.但是为什么B不给A回消息呢?

于是我们来看看,当B要给A回消息时,路由怎么走的?

查看路由表:

ip route
default via 192.168.0.1 dev enp218s0 proto dhcp metric 104
29.28.192.0/20 dev enp137s0f1 proto kernel scope link src 29.28.201.211 metric 105
29.28.192.0/20 dev enp137s0f0 proto kernel scope link src 29.28.193.28 metric 106
29.28.192.0/20 dev enp80s0f1 proto kernel scope link src 29.28.204.230 metric 107
29.28.192.0/20 dev enp106s0f0 proto kernel scope link src 29.28.194.199 metric 108
29.28.192.0/20 dev enp106s0f1 proto kernel scope link src 29.28.195.31 metric 109
29.28.192.0/20 dev enp80s0f0 proto kernel scope link src 29.28.195.228 metric 110
29.28.192.0/20 dev enp234s0f1 proto kernel scope link src 29.28.197.165 metric 111
29.28.192.0/20 dev enp234s0f0 proto kernel scope link src 29.28.195.75 metric 112

根据以前学的router知识,可以看到,(排除default路由外)应该是会匹配到 第1条(标红)规则。

注:metric表示路由代价,目的子网都匹配的情况下,会选代价最低的那一条。

即 B-->A给A回消息时,报文要从 网卡enp137s0f1 发出去,并且发出去的报文源地址要设为29.28.201.211。

难怪不通,因为答非所问了嘛(回arp报文,内容对不上)。

再看为什么211这个ip能通?

因为 211 是该子网路由选择,所对应的IP,所以刚好能通。

这就解释了为什么刚好1个IP能通,另外7个不通。

3.如何让报文从哪个口收到,就从哪个口回去?

往外发报文,根据源地址来选择网卡(注意这里的源是指 主机B,因为回报文是往外发),这种场景可以称之为「源地址路由」,而要实现源地址路由,就需要用到「ip rule 路由策略」这种高级路由配置。

四、ip rule 路由策略

在配置「源地址路由」规则前,我们需要先补充一点基础知识。

1. 路由表“副本”

以前我们学的 route -n 路由表,其实属于“新手村”,即系统默认使用这张路由规则表。但就像《剑来》里面说的那样,在新手村外还有很多其他“境界”。Linux新版本(2.x之后)为实现更复杂的路由能力,将原来的“新手村”,复制了很多的“副本”。

Ps:这种增加“副本”的思路,在咱们IT领域非常常见,比如我们之前学到的各种namespace。

当前系统总的“副本”数量,在 /etc/iproute2/rt_tables 这个文件中。

255 local
254 main
253 default
0   unspec

我们之前学的 route -n 新手村表,就是其中的 254 这个副本号,名字叫做 main。

要增加副本,可以如下这么操作:

echo "$id $table" >> /etc/iproute2/rt_tables

就行了。

2. 如何决定使用哪个“副本”

为了确认使用哪个“副本”,在前面补了一个 rule 规则。

条件基本就是:源IP,目的地址,收到网口这些。

具体见:https://www.computerhope.com/unix/ip.htm

所以现在流程变成了:

  1. 新增一个副本
  2. 设置rule规则,指向这个新增的副本
  3. 往副本里面增加以前学会的route记录

比如,我们希望某个源IP为 29.28.201.211 的报文,走独立的“路由副本”策略:

  • 新建“路由副本”
echo "200 table0" >> /etc/iproute2/rt_tables
  • 增加规则,使这种报文,走该独立副本。(from表示源ip)
ip rule add from 29.28.201.211 table table0
  • 然后我们往这个“路由表副本”里面,放入以前学到的普通的路由规则:
ip route add 29.28.192.0/20 dev eth0 table table0
  • 可以确认下副本中路由是否正确
ip route show table table0
29.28.192.0/20 dev eth0 scope link

这样,我们就可以控制更复杂的路由规则了。

3. 再看“新手村”路由表

在知道路由表可以有很多“副本”之后,我们再回头看看原来那个“新手村”。

从 /etc/iproute2/rt_tables 文件内容可以知道,咱们“新手村”对应的那个路标表名字叫做main。

所以查询这个表的内容:

root@tsjsdbd:/# ip route show table main
default via 172.17.0.1 dev eth0
172.17.0.0/16 dev eth0 proto kernel scope link src 172.17.0.2

这个和我们平时看到的路由,是一样的:

root@tsjsdbd:/# ip route
default via 172.17.0.1 dev eth0
172.17.0.0/16 dev eth0 proto kernel scope link src 172.17.0.2

也就是,我们平时敲的 route -n 看到的列表,其实就是 main 这张表里面的内容。

其余表(0-local,253-default,255-local)的内容,一般不用关注。

4. rule规则匹配优先级

在rule规则表里面,很多记录的时候,匹配优先级是怎么定的?答案是每一条记录,它有个优先级的字段。如下:

[root@tsjsdbd]# ip rule
0:      from all lookup local
32766:     from all lookup main
32767:     from all lookup default

最前面的数字,就是优先级。数字越小,优先级越高,也就是会先进行匹配,同时也代表这条规则可以排的更靠前。

在 rule add 添加规则的时候,是可以指定“优先级的”。如:

ip rule add from 192.168.1.0/24 table table0 pri 333

就可以指定

在不指定优先级的情况下,会默认加到当前最小值前面(即,不指定优先值时,会加一条优先级较高的rule)。

如下:

[root@tsjsdbd]# ip rule add from 192.168.1.0/24 table table0 pri 333

上面这条会加一条333优先级的rule

[root@tsjsdbd]# ip rule add from 192.168.2.0/24 table table0

这条没指定优先级,就会加一条优先级332的(因为当前rule里面最小的是333)。

可以查询确认:

[root@tsjsdbd]# ip rule
0:  from all lookup local
332:       from 192.168.2.0/24 lookup table0
333:       from 192.168.1.0/24 lookup table0
32766:     from all lookup main
32767:     from all lookup default

删除rule的话,有几种便捷的指定方式:(优先级、条件、table)

ip rule del pri 333
ip rule del from 192.168.2.0/24
ip rule del table table0

最后注意,添加或修改了rule规则后,不会立即生效,需要 ip route flush cache 后才生效(官方文档是这么说的,自己验证的时候注意下就行)。

五、源地址路由

再回到问题上来,8个网卡,哪个口收到,要求使用该口的ip回去。可以通过8个路由table实现(因为大家的目标网段是一样的,所以在同一个table表里面话,不好写规则)。

于是,可以把8个路由规则,分散到8个“世界”中,然后通过 rule 分散后,各自进行匹配。

事实上,「源地址路由」的实现,一般都是这种套路:

  • 添加一条“源地址”的rule
ip rule add from 192.168.1.2 table 100
  • 在目标table里面,设置路由规则
ip route add 172.25.2.0/24 via 192.168.1.5 table 100

最终解决8个RoCE网卡可以互通的路由设置如下:

  • table表(8个)
/root # cat /etc/iproute2/rt_tables
200 table0
201 table1
202 table2
203 table3
204 table4
205 table5
206 table6
207 table7
  • rule表(8个)
/root # ip rule
0:     from all lookup local
32758: from 29.28.197.165 lookup table7
32759: from 29.28.195.75 lookup table6
32760: from 29.28.201.211 lookup table5
32761: from 29.28.193.28 lookup table4
32762: from 29.28.195.31 lookup table3
32763: from 29.28.194.199 lookup table2
32764: from 29.28.204.230 lookup table1
32765: from 29.28.195.228 lookup table0
32766: from all lookup main
32767: from all lookup default
  • 每个table表里面,1条路由规则
/root # ip route show table table5
29.28.192.0/20 dev enp137s0f1 scope link src 29.28.201.211

以上3步行为,通过一个脚本来完成。

六、最后

最后我们来看看,网络有问题的时候,与设置完「源地址路由」后的区别:

查询“以xx为源ip,以yy为目的ip,路由选择结果是什么”方式,

可以使用ip route get 命令。

设置前:

# ip route get 29.28.204.80 from 29.28.201.211
29.28.204.80 from 29.28.201.211 dev enp137s0f0 uid 0

设置后:

# ip route get 29.28.204.80 from 29.28.201.211
29.28.204.80 from 29.28.201.211 dev enp137s0f1 table table5 uid 0

可以看到,是按照我们的目标“哪个口来,哪个口回去”的方式运行的。

注:虽然网卡是接入RoCE网络,但其实问题本身是单纯路由相关的,所以看的时候,不用关注RoCE,只当做一个独立子网就行了。

 

点击关注,第一时间了解华为云新鲜技术~

热门相关:超武穿梭         惊世毒妃:轻狂大小姐   梦回大明春