漫画 | 理解了 TCP 连接的实现以后,客户端的并发也爆发了

本文来自微信公众号:开发内功修炼 (ID:kfngxl),作者:张彦飞 allen

echo"500065000"/proc/sys/net/ipv4/ip_local_port_range

连接 1:192.168.1.101 5000 192.168.1.100 8090

连接 2:192.168.1.101 5001 192.168.1.100 8090

连接 N:192.168.1.101 ... 192.168.1.100 8090

连接 6W:192.168.1.101 65000 192.168.1.100 8090

//修改整个系统能打开的文件描述符为20Wecho200000>/proc/sys/fs/file-max//修改所有用户每个进程可打开文件描述符为20W#vi/etc/sysctl.conffs.nr_open=210000#sysctl-p#vi/etc/security/limits.conf*softnofile200000*hardnofile200000

注意: limits 中的 hard limit 不能超过 nr_open, 所以要先改 nr_open。而且最好是在 sysctl.conf 中改。避免重启的时候 hard limit 生效了,nr_open 不生效导致启动问题。

“socket 中有一个主要的数据结构 sock_common,在它里面有两个联合体。”

//file:include/net/sock.hstructsock_common{union{__addrpairskc_addrpair;//TCP连接IP对儿struct{__be32skc_daddr;__be32skc_rcv_saddr;};};union{__portpairskc_portpair;//TCP连接端口对儿struct{__be16skc_dport;__u16skc_num;};};}

“其中 skc_addrpair 记录的是 TCP 连接里的 IP 对儿,skc_portpair 记录的是端口对儿。”

“在网络包到达网卡之后,依次经历 DMA、硬中断、软中断等处理,最后被送到 socket 的接收队列中了。”

“对于 TCP 协议来说,协议处理的入口函数是 tcp_v4_rcv。我们看一下它的代码”

//file:net/ipv4/tcp_ipv4.cinttcp_v4_rcv(structsk_buff*skb){th=tcp_hdr(skb);//获取tcpheaderiph=ip_hdr(skb);//获取ipheadersk=__inet_lookup_skb(&tcp_hashinfo,skb,th->source,th->dest);}

//file:include/net/inet_hashtables.hstaticinlinestructsock*__inet_lookup(structnet*net,structinet_hashinfo*hashinfo,const__be32saddr,const__be16sport,const__be32daddr,const__be16dport,constintdif){u16hnum=ntohs(dport);structsock*sk=__inet_lookup_established(net,hashinfo,saddr,sport,daddr,hnum,dif);returnsk?:__inet_lookup_listener(net,hashinfo,saddr,sport,daddr,hnum,dif);}

“先判断有没有连接状态的 socket,这会走到__inet_lookup_established 函数中”

structsock*__inet_lookup_established(structnet*net,structinet_hashinfo*hashinfo,const__be32saddr,const__be16sport,const__be32daddr,constu16hnum,constintdif){//将源端口、目的端口拼成一个32位int整数const__portpairports=INET_COMBINED_PORTS(sport,hnum);//内核用hash的方法加速socket的查找unsignedinthash=inet_ehashfn(net,daddr,hnum,saddr,sport);unsignedintslot=hash&hashinfo->ehash_mask;structinet_ehash_bucket*head=&hashinfo->ehash[slot];begin://遍历链表,逐个对比直到找到sk_nulls_for_each_rcu(sk,node,&head->chain){if(sk->sk_hash!=hash)continue;if(likely(INET_MATCH(sk,net,acookie,saddr,daddr,ports,dif))){if(unlikely(!atomic_inc_not_zero(&sk->sk_refcnt)))gotobegintw;if(unlikely(!INET_MATCH(sk,net,acookie,saddr,daddr,ports,dif))){sock_put(sk);gotobegin;}gotoout;}}}

//include/net/inet_hashtables.h#defineINET_MATCH(__sk,__net,__cookie,__saddr,__daddr,__ports,__dif)\((inet_sk(__sk)-inet_portpair==(__ports))&&\(inet_sk(__sk)-inet_daddr==(__saddr))&&\(inet_sk(__sk)-inet_rcv_saddr==(__daddr))&&\(!(__sk)-sk_bound_dev_if\((__sk)-sk_bound_dev_if==(__dif)))&&\net_eq(sock_net(__sk),(__net)))

“在 INET_MATCH 中将网络包 tcp header 中的__saddr、__daddr、__ports 和 Linux 中的 socket 中 inet_portpair、inet_daddr、inet_rcv_saddr 进行对比。如果匹配 socket 就找到了。当然除了 ip 和端口,INET_MATCH 还比较了其它一些东东,所以 TCP 还有五元组、七元组之类的说法。”

#cat/etc/redhat-releaseRedHatEnterpriseLinuxServerrelease6.2(Santiago)#ss-ant|grepESTAB|wc-l1000013#cat/proc/meminfoMemTotal:3925408kBMemFree:97748kBBuffers:35412kBCached:119600kBSlab:3241528kB

总结

客户端每建立一个连接就要消耗一个端口,所以很多同学当看到客户端机器上连接数一旦超过 3W、5W 就紧张的不行,总觉得机器要出问题了。

这篇文章的第一版也是很早就写出来了,不过飞哥又打磨了好长时间才算满意。在文中我们展示了一下 TCP socket 的部分内核代码。通过源码来看:

TCP 连接就是在客户机、服务器上的一对儿的 socket。它们都在各自内核对象上记录了双方的 ip 对儿、端口对儿(也就是我们常说的四元组),通过这个在通信时找到对方。

TCP 连接发送方在发送网络包的时候,会把这份信息复制到 IP Header 上。网络包带着这份信物穿过互联网,到达目的服务器。目的服务器内核会按照 IP 包 header 中携带的信物(四元组)去匹配找到正确的 socket (连接)。

在这个过程里我们可以看到,客户端的端口只是这个四元组里的一元而已。哪怕两条连接用的是同一个端口号,只要客户端 ip 不一样,或者是服务器不一样都不影响内核正确寻找到对应的连接,而不会串线!

所以在客户端增加 TCP 最大并发能力有两个方法。第一个办法,为客户端配置多个 ip。第二个办法,连接多个不同的 server。

不过这两个办法最好不要混用。因为使用多 IP 时,客户端需要 bind。一旦 bind 之后,内核建立连接的时候就不会选择用过的端口了。bind 函数会改变内核选择端口的策略~~

最后我们亲手实验证明了客户端也可以突破百万的并发量级。相信读过此文的你,以后再也不用再惧怕 65535 这个数字了。