搜索引擎对网站的稳定性要求非常高吗？

有一个个人的网站，原来放在国外的服务器，访问量是每天两千多，流量全部来自单一的某个搜索引擎。后来为了速度快点搬到了香港的服务器，然后访问量立即降到原来的 1/10 。再后来又搬回原来那个服务器，经过一个多月之后的现在，流量又恢复到了原来的每天两千多。

我现在都不敢动服务器了，甚至都不敢关机，重启，升级软件。现在就算网站挂一秒钟我都怕搜索引擎会对他作出惩罚。