事件回顾

阿里云一台部署了Redis的ECS通过EDSA控制台更新程序,发布新应用报错,回滚应用也报错。
联系阿里云工单,确认是缺少wget组件,无法执行以下命令导致。

wget -q -O /root/install.sh http://edas-qd.oss-cn-qingdao-internal.aliyuncs.com/install.sh && bash /root/install.sh -full -force

执行yum -y install wget ,提示已安装,但无法正常使用。
执行yum reinstall wget,wget功能恢复正常,但发布和回滚应用程序仍然无法完成。
再次联系阿里云工单,进一步确认是因为由于curl命令缺失导致,恢复curl命令后,EDSA应用程序发布和回滚恢复正常,EDSA应用问题解决。

几天后,这台ECS CPU 100%爆满,应用挂掉,经确认,中招挖矿病毒, sysupdate和networkservice两个进程跑满了CPU。

挖矿.png

处理办法

  1. 更换中招ECS镜像
  2. EDAS应用和非EDSA应用分开,重新部署
  3. 全部ECS安装防病毒软件

经验总结

  • 上工治未病,提前做好防范,中招概率就会大大降低。
  • 中工既要有头痛会医头,脚痛会医脚的技能,又要有见一落叶而知秋意如杀的本领;如果发现wget和curl失效,能和病毒联系起来,也可以提前实施补救措施。
  • 切记重要数据一定要做好备份,重要的应用要定期做快照。