真实案例记录Linux被植入rootkit导致服务器带宽跑满的解决过程

一、关于linux下的rootkit

rootkit是Linux平台下最常见的一种木 马后门工具，它主要通过替换系统文件来达到攻 击和和隐蔽的目的，这种木 马比普通木 马后门更加危险和隐蔽，普通的检测工具和检查手段很难发现这种木 马。rootkit攻 击能力极强，对系统的危害很大，它通过一套工具来建立后门和隐藏行迹，从而让攻 击者保住权限，以使它在任何时候都可以使用root权限登录到系统。

rootkit主要有两种类型：文件级别和内核级别，下面分别进行简单介绍。

1.1、文件级别rootkit木 马

文件级别的rootkit一般是通过程序漏洞或者系统漏洞进入系统后，通过修改系统的重要文件来达到隐藏自己的目的。在系统遭受rootkit木 马后，合法的文件被木 马程序替代，变成了外壳程序，而其内部是隐藏着的后门程序。通常容易被rootkit替换的系统程序有login、ls、ps、ifconfig、du、find、netstat等，其中login程序是最经常被替换的，因为当访问Linux时，无论是通过本地登录还是远程登录，/bin/login程序都会运行，系统将通过/bin/login来收集并核对用户的账号和密码，而rootkit就是利用这个程序的特点，使用一个带有根权限后门密码的/bin/login来替换系统的/bin/login，这样攻 击者通过输入设定好的密码就能轻松进入系统。此时，即使系统管理员修改root密码或者清除root密码，攻 击者还是一样能通过root用户登录系统。入 侵者通常在进入Linux系统后，会进行一系列的攻 击动作，最常见的是安装嗅探器收集本机或者网络中其他服务器的重要数据。在默认情况下，Linux中也有一些系统文件会监控这些工具动作，例如ifconfig命令，所以，攻 击者为了避免被发现，会想方设法替换其他系统文件，常见的就是ls、ps、ifconfig、du、find、netstat等。如果这些文件都被替换，那么在系统层面就很难发现rootkit已经在系统中运行了。

这就是文件级别的rootkit，对系统维护很大，目前最有效的防御方法是定期对系统重要文件的完整性进行检查，如果发现文件被修改或者被替换，那么很可能系统已经遭受了rootkit攻 击。检查件完整性的工具很多，常见的有Tripwire、 aide等，可以通过这些工具定期检查文件系统的完整性，以检测系统是否被rootkit入 侵。

1.2、内核级别的rootkit木 马

内核级rootkit是比文件级rootkit更高级的一种攻 击方式，它可以使攻 击者获得对系统底层的完全控制权，此时攻 击者可以修改系统内核，进而截获运行程序向内核提交的命令，并将其重定向到攻 击者所选择的程序并运行此程序，也就是说，当用户要运行程序A时，被攻 击者修改过的内核会假装执行A程序，而实际上却执行了程序B。

内核级rootkit主要依附在内核上，它并不对系统文件做任何修改，因此一般的检测工具很难检测到它的存在，这样一旦系统内核被植入rootkit，攻 击者就可以对系统为所欲为而不被发现。目前对于内核级的rootkit还没有很好的防御工具，因此，做好系统安全防范就非常重要，将系统维持在最小权限内工作，只要攻 击者不能获取root权限，就无法在内核中植入rootkit。

二、一次Linux.BackDoor.Gates.5（文件级别rootkit）网络带宽攻 击案例

2.1、问题现象

事情起因是突然发现一台oracle服务器外网流量跑的很高，明显和平常不一样，最高达到了200M左右，这明显是不可能的，因为oracle根本不与外界交互，第一感觉是服务器被入 侵了。被人当做肉鸡了，在大量发包。

这是台centos6.5 64位的系统，已经在线上运行了70多天了。

2.2、排查问题

排查问题的第一步是查看此服务器的网络带宽情况，通过监控系统显示，此台服务器占满了200M的带宽，已经持续了半个多小时，接着第二步登录服务器查看情况，通过ssh登录服务器非常慢，这应该就是带宽被占满的缘故，不过最后还是登录上了服务器，下面是一个top的结果；

可以看到，有一个异常的进程占用资源比较高，名字不仔细看还真以为是一个Web服务进程。但是这个Nginx1确实不是正常的进程。

接着，通过pe -ef命令又发现了一些异常：

发现有个/etc/nginx1进程，然后查看了这个文件，是个二进制程序，基本断定这就是木 马文件。

同时又发现，/usr/bin/dpkgd/ps -ef这个进程非常异常，因为正常情况下ps命令应该在/bin目录下才对。于是进入/usr/bin/dpkgd目录查看了一下情况，又发现了一些命令，如下图所示：

由于无法判断，用了最笨的办法，找了一台正常的机器，查看了一下ps命令这个文件的大小，发现只有80K左右，又检查了/usr/bin/dpkgd/ps，发现文件大小不对，接着又检查了两个文件的md5，发现也不一样。

初步判断，这些文件都伪装的外壳命令，其实都是有后门的木 马.

继续查看系统可疑目录，首先查看定时任务文件crontab，并没有发现异常，然后查看系统启动文件rc.local，也没有什么异常，接着进入/etc/init.d目录查看，又发现了比较奇怪的脚本文件DbSecuritySpt、selinux，如下图所示：

这两个文件在正常的系统下是没有的，所以也初步断定是异常文件。

接着继续查看系统进程，通过ps -ef命令，又发现了几个异常进程，一个是/usr/bin/bsd-port，另一个是/usr/sbin/.sshd，这两个进程时隐时现，在出现的瞬间被我抓到了。

查看发现/usr/bin/bsd-port是个目录，进入目录，发行了几个文件，如下图：

有getty字眼，这不是终端管理程序吗，它用来开启终端，进行终端的初始化，设置终端，这里出现了终端，马上联想到是否跟登录相关，于是紧接着，又发现了/usr/sbin/.sshd，很明显，这个隐藏的二进制文件.sshd就是个后 门文件，表面像sshd进程，其实完全不是。

最后，又查看了木 马最喜欢出现的目录/tmp，也发现了异常文件，从名字上感觉好像是监控木 马程序的，如下图所示：

检查到这里，基本查明了系统中可能出现的异常文件，当然，不排除还有更多的，下面的排查就是查找更多可疑文件，然后删除即可。

3、查杀病毒文件

要清楚系统中的牧马病毒，第一步要做的是先清除这些可疑的文件，这里总结了下此类植入牧马各种可疑的文件，供大家参考：

检查是否有下面路径文件

cat /etc/rc.d/init.d/selinux
cat /etc/rc.d/init.d/DbSecuritySpt
ls /usr/bin/bsd-port
ls /usr/bin/dpkgd

检查下面文件大小是否正常，可以和正常机器中的文件做比对：

ls -lh /bin/netstat
ls -lh /bin/ps
ls -lh /usr/sbin/lsof
ls -lh /usr/sbin/ss

如果发现有上面可疑文件，需要全部删除，可删除的文件或目录如下：

rm -rf /usr/bin/dpkgd (ps netstat lsof ss) #这是加壳命令目录
rm -rf /usr/bin/bsd-port #这是木 马程序
rm -f /usr/bin/.sshd #这是木 马后门
rm -f /tmp/gates.lod
rm -f /tmp/moni.lod
rm -f /etc/rc.d/init.d/DbSecuritySpt #这是启动上述描述的那些木 马后的变种程序
rm -f /etc/rc.d/rc1.d/S97DbSecuritySpt #删除自启动
rm -f /etc/rc.d/rc2.d/S97DbSecuritySpt
rm -f /etc/rc.d/rc3.d/S97DbSecuritySpt
rm -f /etc/rc.d/rc4.d/S97DbSecuritySpt
rm -f /etc/rc.d/rc5.d/S97DbSecuritySpt
rm -f /etc/rc.d/init.d/selinux #这个selinux是个假象，其实启动的是/usr/bin/bsd-port/getty程序
rm -f /etc/rc.d/rc1.d/S99selinux #删除自启动
rm -f /etc/rc.d/rc2.d/S99selinux
rm -f /etc/rc.d/rc3.d/S99selinux
rm -f /etc/rc.d/rc4.d/S99selinux
rm -f /etc/rc.d/rc5.d/S99selinux

上面的一些命令(ps netstat lsof ss)删除后，系统中这些命令就不能使用了，怎么恢复这些命令呢，有两种方式：一个是从别的同版本机器上拷贝一个正常的文件过来，另一个是通过rpm文件重新安装这些命令。

例如，删除了ps命令后，可以通过yum安装ps命令：

[root@server ~]#yum -y reinstall procps

其中，procps包中包含了ps命令。

[root@server ~]#yum -y reinstall net-tools
[root@server ~]#yum -y reinstall lsof
[root@server ~]#yum -y reinstall iproute

上面三个命令是依次重新安装netstat、lsof、ss命令。

4、找出异常程序并杀死

所有可疑文件都删除后，通过top、ps等命令查看可疑进程，全部kill掉即可，这样进程kill之后，因为启动文件已经清除，所以也就不会再次启动或者生成牧马文件了。

这个案例是个典型的文件级别rootkit植入系统导致的，最后检查植入的原因是由于这台oracle服务器有外网IP，并且没设置任何防火墙策略，同时，服务器上有个oracle用户，密码和用户名一样，这样一来，黑 客通过服务器暴露在外网的22端口，然后通过暴力破解，通过这个oracle用户登录到了系统上，进而植入了这个rootkit病毒。

三、Linux安全防护工具ClamAV的使用

ClamAV是一个在命令行下查毒软件，是免费开源产品，支持多种平台，如：Linux/Unix、mac OS X、windows、OpenVMS。ClamAV是基于病毒扫描的命令行工具，但同时也有支持图形界面的ClamTK工具。为什么说是查毒软件呢，因为它不将杀毒作为主要功能，默认只能查出您服务器内的病毒，但是无法清除，至多删除文件。不过这样，已经对我们有很大帮助了。

3.1、快速安装clamav

clamav的官方网站是http://www.clamav.net， 可以从http://www.clamav.net/downloads 下载最新版本，也可以通过yum在线安装clamav，因为clamav包含在epel源中，所以方便起见，通过yum安装最简单。

[root@server ~]# yum install epel-release
[root@server ~]# yum -y install clamav clamav-milter

很简单吧，就这样clamav已经安装好了。

3.2、更新病毒库

clamav安装好后，不能马上使用，需要先更新一下病毒特征库，不然会有告警信息。更新病毒库方法如下：

[root@server ~]# freshclam 
ClamAV update process started at Wed Oct 24 12:03:03 2018
Downloading main.cvd [100%]
main.cvd updated (version: 58, sigs: 4566249, f-level: 60, builder: sigmgr)
Downloading daily.cvd [100%]
daily.cvd updated (version: 25064, sigs: 2131605, f-level: 63, builder: neo)
Downloading bytecode.cvd [100%]
bytecode.cvd updated (version: 327, sigs: 91, f-level: 63, builder: neo)
Database updated (6697945 signatures) from database.clamav.net (IP: 104.16.186.138)

保证你的服务器能够上网，这样才能下载到病毒库，更新时间可能会长一些。

3.3、clamav的命令行使用

clamav有两个命令，分别是clamdscan和clamscan，其中，clamdscan命令一般用yum安装才有，需要启动clamd服务才能使用，执行速度较快；而clamscan命令通用，不依赖服务，命令参数较多，执行速度稍慢。推荐使用clamscan。

执行“clamscan -h”可获得使用帮助信息，clamscan常用的几个参数含义如下：

-r/--recursive[=yes/no] 表示递归扫描子目录
-l FILE/--log=FILE 增加扫描报告
--move [路径] 表示移动病毒文件到指定的路径
--remove [路径] 表示扫描到病毒文件后自动删除病毒文件
--quiet 表示只输出错误消息
-i/--infected 表示只输出感染文件
-o/--suppress-ok-results 表示跳过扫描OK的文件
--bell 表示扫描到病毒文件发出警报声音
--unzip(unrar) 表示解压压缩文件进行扫描

下面看几个例子：

（1）、查杀当前目录并删除感染的文件

[root@server ~]# clamscan -r --remove

（2）、扫描所有文件并且显示有问题的文件的扫描结果

[root@server ~]# clamscan -r --bell -i /

（3）、扫描所有用户的主目录文件

[root@server ~]# clamscan -r /home

（4）、扫描系统中所有文件，发现病毒就删除病毒文件，同时保存杀毒日志

[root@server ~]# clamscan --infected -r / --remove -l /var/log/clamscan.log

3.4、查杀系统病毒

下面命令是扫描/etc目录下所有文件，仅输出有问题的文件，同时保存查杀日志。

[root@server ~]# clamscan -r /etc --max-recursion=5 -i -l /mnt/a.log
----------- SCAN SUMMARY -----------
Known viruses: 6691124
Engine version: 0.100.2
Scanned directories: 760
Scanned files: 2630
Infected files: 0
Data scanned: 186.64 MB
Data read: 30.45 MB (ratio 6.13:1)
Time: 72.531 sec (1 m 12 s)

可以看到，扫描完成后有结果统计。

下面我们从eicar.org下载一个用于模拟病毒的文件，看一下clamav是否能够扫描出来，

[root@server mnt]# wget http://www.eicar.org/download/eicar.com
[root@liumiaocn mnt]# ls
eicar.com

然后，重新扫描看是否能够检测出新下载的病毒测试文件。执行如下命令：

[root@server ~]# clamscan -r / --max-recursion=5 -i -l /mnt/c.log 
/mnt/eicar.com: Eicar-Test-Signature FOUND
----------- SCAN SUMMARY -----------
Known viruses: 6691124
Engine version: 0.100.2
Scanned directories: 10
Scanned files: 187
Infected files: 1
Data scanned: 214.09 MB
Data read: 498.85 MB (ratio 0.43:1)
Time: 80.826 sec (1 m 20 s)

可以看到，病毒文件被检测出来了。eicar.com是一个Eicar-Test-Signature类型病毒文件。缺省的方式下，clamscan只会检测不会自动删除文件，要删除检测出来的病毒文件，使用“--remove”选项即可。

3.5、设置自动更新病毒库和查杀病毒

病毒库的更新至关重要，要实现自动更新，可在计划任务中添加定时更新病毒库命令，也就是在crontab添加如下内容：

* 1 * * * /usr/bin/freshclam --quiet

表示每天1点更新病毒库。

实际生产环境应用，一般使用计划任务，让服务器每天晚上定时杀毒。保存杀毒日志，也就是在crontab添加如下内容：

* 22 * * * clamscan -r / -l /var/log/clamscan.log --remove

此计划任务表示每天22点开始查杀病毒，并将查杀日志写入/var/log/clamscan.log文件中。

病毒是猖獗的，但是只要有防范意识，加上各种查杀工具，完全可以避免牧马或病毒的入 侵。