经常做Web开发的工程师,都会遇到需要将某个域名绑定到特定IP上,进行测试的情况。大家一般都会用修改hosts文件的方式来解决,但是经常也会遇到修改hosts不生效的情况,而且有时生效,有时不生效的情况也有发生,这到底是为什么呢?
起:DNS缓存机制
关于DNS缓存的机制,有一篇非常详细的文章What really happens when you navigate to a URL。
简单来说,一条域名的DNS记录会在本地有两种缓存:浏览器缓存和操作系统(OS)缓存。在浏览器中访问的时候,会优先访问浏览器缓存,如果未命中则访问OS缓存,最后再访问DNS服务器(一般是ISP提供),然后DNS服务器会递归式的查找域名记录,然后返回。
DNS记录会有一个ttl值(time to live),单位是秒,意思是这个记录最大有效期是多少。经过实验,OS缓存会参考ttl值,但是不完全等于ttl值,而浏览器DNS缓存的时间跟ttl值无关,每种浏览器都使用一个固定值。
这里有一篇文章,做过详细的测试Why Web Browser DNS Caching Can Be A Bad Thing:
后来我也做过测试,Mac下Chrome(23.0.1271.101)的DNS缓存时间是1分钟。Safari下DNS缓存时间大约为10秒。
解:hosts文件修改的原理
那么在修改hosts文件之后,发生了什么事情呢?这里不妨先提提Chrome下的一个工具:chrome://net-internals/#dns。这里列出了目前系统中的DNS缓存和Chrome中使用的情况。通过这个工具,可以看到:
1 | **在修改hosts文件后,所有OS中DNS缓存会被清空,而浏览器缓存则不发生变化。** |
网上盛传chrome://net-internals/#dns下的"Clear Host Cache"可以清空DNS缓存,这里博主做了一个测试,这里清空的仅仅是OS的缓存,而并非浏览器DNS缓存。当某条DNS记录显示"Expired"的时候,才表示浏览器DNS缓存已经被清除。所以使用Clear Host Cache其实是没有用的。
那么回到最初的问题上来,为什么修改hosts文件之后,有时会立刻生效,有时却一直不生效呢?其实原因很简单,这是因为浏览器缓存的过期时间,是从某个域名上次查询DNS记录开始计算的。
例如:我00秒的时候使用chrome访问过www.google.com.hk,此时浏览器DNS缓存产生,然后我修改了hosts文件,将 www.google.com.hk指向本地127.0.0.1,然后在05秒的时候尝试再次访问这个地址,因为浏览器DNS缓存未过期,所以hosts 修改无法体现出来。
另一种情况下,我很久都没有访问www.baidu.com了,然后我修改了hosts文件,将其指向127.0.0.1,这时因为浏览器没有DNS缓存,所以会查询操作系统中的DNS缓存,结果此时hosts文件生效!
前面也提到,Safari的浏览器DNS缓存时间大约为10秒,所以一般调试程序的时候,很多人都习惯修改hosts后,用Safari来调试,因为大部分情况下,修改hosts之后,浏览器DNS缓存已经失效了。
那么怎么主动清除浏览器DNS缓存呢?博主目前也没有找到办法,测试过Chrome下的“清除缓存”选项,发现没有起到期望的效果。
那么,就请在修改hosts之后,耐下心来,稍等几十秒吧。
最后打个广告,博主正在开发一款比修改hosts更方便的DNS更改工具,应该能够在新年推出,敬请期待!
下面是收集到的一些请您浏览器缓存的方法:
各大浏览器默认开启了DNS缓存功能,所以在先访问有个不存在域名后,再把该域名添加到本地hosts文件指向本地后,用该浏览器访问依然会提示域名不存在。。。
解决方案:
Firefox解决方式:
Firefox有dns缓存功能,但是默认缓存时间只有1分钟,可以通过修改该默认值加快DNS解析速度,方法如下:
打开一个新的窗口,地址栏输 入 about:config,回车,进入设置界面。然后搜索 network.dnsCacheExpiration ,把原来的60改成 6000(表示缓存6000秒),再搜索network.dnsCacheEntries 把默认的20改成1000(表示缓存1000条)。如果没 有上面两个项目,新建它们即可,新建条目类型为整数型。 当然也可以按照需要设置成其它的值。
但是dns缓存太久了也会出问题,比如有的网站ip换了,就无法访问了。
针对这样的问题,还可以安装一个 firefox 插件来开启或者 关闭dns cache功能,https://addons.mozilla.org/zh-CN/firefox/addon/5914 。
IE解决方式:
禁用DNS缓存的方法,将下面内容保存为注册表文件,在运行写入注册表:
Windows Registry Editor Version 5.00
[HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings]
"DnsCacheEnabled"=dword:00000000
"DnsCacheTimeout"=dword:00000000
"ServerInfoTimeOut"=dword:00000000
写入注册表以后IE将不再缓存DNS,我们对hosts便会立即生效,无需再重启浏览器。
如果需要恢复IE的DNS缓存,只需清楚我们之前写入的注册表内容。跟上面的方法一样:
Windows Registry Editor Version 5.00
[HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings]
"DnsCacheEnabled"=-
"DnsCacheTimeout"=-
"ServerInfoTimeOut"=-
Chrome浏览器:
为了加快访问速度,Google Chrome浏览器采用了预提DNS记录,在本地建立DNS缓存的方法,加快网站的连接速度。你在谷歌Chrome浏览器的地址栏中输入about:DNS,回车,就可以看到本地的DNS缓存。
firefox下有个DNS Flusher插件,但没有chrome版本,其实在chrome下清除DNS缓存非常简单:
1、用chrome打开:chrome://net-internals/#dns
2、点击上面的“clean host cache”
也可以清空在工具中选择清空Cache,这样DNS cache会一同清空。
微软windows下如何清空dns
在微软windows下,你可以用命令ipconfig /flushd ns来清空dns 缓存内容。
你也可以用命令ipconfig /displaydns 来查看dns缓存内容。
Mac OSX下如何清空dns缓存
在Mac OSX中,你可以用这个命令lookupd -flushcache 来清空保留的缓存。
bash-2.05a$ lookupd -flushcache
Linux 下如何清空dns缓存
在linux中,nscd进程负责管理DNS缓存。
要清空DNS缓存,重启nscd守护进程就行了。
要重启nscd进程,使用命令(不带引号)'/etc/rc.d/init.d/nscd restart '
另外的 dns资料:
DNS查询请求类型
查询响应类型
DNS服务器对于客户请求的答复具有多种类型,常见的有以下四种:
权威答复:权威答复是返回给客户的正向答复,并且设置了DNS消息中的权威位。此答复代表从具有权威的DNS服务器处发出;
正向答复:正向答复包含了匹配客户端解析请求的资源记录;
参考答复:参考答复只在DNS服务器工作在迭代模式下使用,包含了其他有助于客户端解析请求的信息。例如,当DNS服务器不能为客户端发起的解析请求找到某个匹配值时,则向DNS客户端发送参考回复,告诉它有助于解析请求的信息;
否定答复:否定答复指出权威服务器在解析客户端的请求时可能遇到了以下两种情况之一:
权威DNS服务器报告客户端查询的名字不存在;
权威DNS服务器报告存在对应的名字但是不存在指定类型的资源记录。
无论正向答复还是否定答复,DNS客户端都将结果保存在自己的本地缓存中。
DNS的TTL是指Time to live,既存活时间。
DNS服务器解析返回IP分配策略与客户端对域名IP选择策略
一个简单测试,先解析163域名
C:\Users\cmcc>nslookup www.163.com
服务器: ns4.zj.chinamobile.com
Address: 211.140.188.188
非权威应答:
名称: c01.i05.cmbzj.hadns.net
Addresses: 111.1.38.160
111.1.38.159
223.94.95.114
223.94.95.119
Aliases: www.163.com
www.163.com.cloudcdn.net
c01.i05.hacdn.net
可以看到该域名返回了多个IP,DNS服务器对IP返回会有一些策略保证客户访问对服务器的负载均衡或速度保证,如IP随机返回,按最近离用户最近IP返回等,其主要的控制策略是调整列表中第一个返回的IP。RFC1794解释了dns对负载均衡的支持:
http://www.faqs.org/rfcs/rfc1794.html
一般的客户端(如浏览器)对DNS返回的IP的选择是取第一个IP,如果第一个IP失败了再去取第二个IP。也有一些客户端在连接第一个IP失败后就直接失败了。
各个环节的DNS缓存介绍
浏览器 DNS缓存
浏览器DNS缓存的时间跟DNS服务器返回的TTL值无关。
浏览器在获取网站域名的实际IP地址后会对其IP进行缓存,减少网络请求的损耗。每种浏览器都有一个固定的DNS缓存时间,其中Chrome的过期时间是1分钟,在这个期限内不会重新请求DNS。Chrome浏览器看本身的DNS缓存时间比较方便,在地址栏输入
chrome://net-internals/#dns
就能看到看浏览器的缓存
Java DNS缓存 jvm缓存的清理参考
Java的网络应用程序的DNS缓存是由JVM的缓存策略控制的, 当InetAddress类第一次使用某个域名(如www.google.com)创建InetAddress对象后,JVM就会将这个域名和它从DNS 上获得的信息(如IP地址)都保存在DNS缓存中。当下一次InetAddress类再使用这个域名时,就直接从DNS缓存里获得所需的信息,而无需再访 问DNS服务器。两种方式更改这个值:
- 可以在应用程序中直接设置缓存过期时间:
java.security.Security.setProperty("networkaddress.cache.ttl", 10);
- 更改jre中security文件中的设置 C:\Program Files\Java\jre1.8.0_31\lib\security\java.security
The Java-level namelookup cache policy for successful lookups:
any negative value: caching forever
any positive value: the number of seconds to cache an address for
zero: do not cachedefault value is forever (FOREVER). For security reasons, this
caching is made forever when a security manager is set. When a security
manager is not set, the default behavior in this implementation
is to cache for 30 seconds.
networkaddress.cache.negative.ttl=10
networkaddress.cache.ttl=-1
该文件中的文字对以上值已经解释的比较清楚。cache.negative.ttl就是指缓存DNS否定答复的时间。
OS DNS缓存
OS缓存会参考DNS服务器响应的TTL值,但是不完全等于TTL值。
测试,以知乎的DNS解析为例:
C:\windows\system32>ipconfig /displaydns
www.zhihu.com
记录名称. . . . . . . : www.zhihu.com
记录类型. . . . . . . : 1
生存时间. . . . . . . : 323 (秒)
数据长度. . . . . . . : 4
部分. . . . . . . . . : 答案
A (主机)记录 . . . . : 60.28.215.71
记录名称. . . . . . . : www.zhihu.com
记录类型. . . . . . . : 1
生存时间. . . . . . . : 323
数据长度. . . . . . . : 4
部分. . . . . . . . . : 答案
A (主机)记录 . . . . : 60.28.215.70
通过域名解析命令获取ISP端的域名服务中的TTL时间:
C:\Users\cmcc>nslookup -d www.zhihu.com
服务器: ns4.zj.chinamobile.com
Address: 211.140.188.188Got answer:
HEADER:
opcode = QUERY, id = 2, rcode = NOERROR
header flags: response, want recursion, recursion avail.
questions = 1, answers = 2, authority records = 2, additional = 18
QUESTIONS:
www.zhihu.com, type = A, class = IN
ANSWERS:
-> www.zhihu.com
internet address = 60.28.215.71
ttl = 900 (15 mins)
-> www.zhihu.com
internet address = 60.28.215.70
ttl = 900 (15 mins)
AUTHORITY RECORDS:
-> zhihu.com
nameserver = ns3.dnsv4.com
ttl = 136 (2 mins 16 secs)
可以看到本地ISP服务器上缓存的时间是15分钟,就算刷新了本机操作系统缓存,ISP上仍然存在。
Windows
Windows2003之前的DNS缓存设置时间在注册表的位置是HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Services/Dnscache/Parameters
键名MaxCacheEntryTtlLimit,为DNS缓存条目TTL最大值,在XP和2003系统中此项名称为MaxCacheTtl。
MSDN中对此有详细介绍:https://technet.microsoft.com/en-us/library/cc959517.aspx
非常详细的解释了DNS域TTL与操作系统的DNS缓存策略的关系:
The default value for MaxCacheEntryTtlLimit is DWORD = 0x15180 = 86400 seconds = 1 day
if DNS zone TTL < MaxCacheEntryTtlLimit, then DNS TTL is used
if DNS zone TTL > MaxCacheEntryTtlLimit, then MaxCacheEntryTtlLimit is used
以下命令windows系统可使用:
ipconfig /displaydns 显示本机dns, 生存时间, 80-8000都有
ipconfig /flushdns 刷新windows dns缓存
Android
Addresses are cached for 600 seconds (10 minutes) by default. Failed lookups are cached for 10 seconds.
DNS caching
In Android 4.0 (Ice Cream Sandwich) and earlier, DNS caching was performed both by InetAddress and by the C library, which meant that DNS TTLs could not be honored correctly. In later releases, caching is done solely by the C library and DNS TTLs are honored.
IOS
按照官方文档说法,iOS设备上每24小时刷新一次DNS缓存
其他系统的DNS相关命令
MAC
lookupd-flushcache 清缓存
Linux
/etc/init.d/nscd restart 清缓存
ISP DNS缓存
ISP(电信运营商)缓存有些不靠谱,有些缓存服务器(不多)会忽略网站DNS提供的TTL,自己设置一个较长的TTL,导致顶级DNS更新时不能及时拿到新的IP地址。
可以看出,在从Root DNS请求域名解析的过程中,有太多的层次影响DNS的获取,缓存是双刃剑,提高了获取DNS的速度,也会影响DNS在IP变更时不能及时更新到最新。