error@开发反馈生产服务有个节点连接redis timeout

问题

仅一个节点提示连接redis timeout,其他节点连接正常。

分析

1.看服务报错日志

日志提示很明确171.xxx timeout

实际节点IP 172.xxx, 配置文件目标IP错误导致连接超时。

2.测试redis节点连通性

nc -vz 172.x 8222
curl -v telnet://172.x:8222

发现连通性都是OK的

3.抓包分析

tcpdump -i eth0 dst port 8222 -w 1.pcap
分析发现，dst mac地址为空(寻址异常)，tcp存在包重传。

网络不通,目标IP错误

反思

太忙的时候，不太适合分析问题。容易被带偏，静下心原始的日志，已经说明一切。