惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园_首页
Microsoft Azure Blog
Microsoft Azure Blog
aimingoo的专栏
aimingoo的专栏
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
阮一峰的网络日志
阮一峰的网络日志
Martin Fowler
Martin Fowler
B
Blog
The GitHub Blog
The GitHub Blog
T
Tailwind CSS Blog
Stack Overflow Blog
Stack Overflow Blog
L
LangChain Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
D
DataBreaches.Net
月光博客
月光博客
人人都是产品经理
人人都是产品经理
IT之家
IT之家
GbyAI
GbyAI
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
WordPress大学
WordPress大学
博客园 - Franky
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
The Cloudflare Blog
C
Check Point Blog
罗磊的独立博客

OhYee 博客

小鹏辅助驾驶测评|OhYee 博客 小鹏非支持手机开启自动解锁|OhYee 博客 使用函数计算实现 301 重定向|OhYee 博客 针对 HTML 内容使用 Ant Design 图片弹框|OhYee 博客 博客进程泄露及僵尸进程解决|OhYee 博客 蓝易云服务器体验|OhYee 博客 SSH 调起本地 VSCode|OhYee 博客 【2022 秋招内推】阿里云后端研发工程师|OhYee 博客 使用函数计算获取 IP 地址信息|OhYee 博客 正确获取客户端 IP/HTTP Header 也可能重复|OhYee 博客 评测 Oculus Quest2 及 BigScreen|OhYee 博客 NextJS 热重载保留状态|OhYee 博客 如何优雅地贴 gist 代码|OhYee 博客 Linux 精细化文件权限|OhYee 博客 VSCode 容器开发环境|OhYee 博客 Clash 的不兼容更新排查|OhYee 博客 记一次 ssh 配置问题|OhYee 博客 Git Commit 规范化工具|OhYee 博客 谈谈《星之卡比-探索发现》|OhYee 博客 VSCode 快捷键绑定 Shell 命令|OhYee 博客 ASN.1 语法及 X.509 证书格式解析解析|OhYee 博客 腾讯企业邮箱忽略 MX 记录发信|OhYee 博客 Chrome/Edge 标签组插件|OhYee 博客 【应届内推】阿里云后端研发工程师|OhYee 博客 损坏的 Typecho 备份处理为 JSON|OhYee 博客 VS Code VIM 插件高效使用|OhYee 博客 SSH 正反向代理|OhYee 博客 Let's Encrypt 根证书过期引发的问题|OhYee 博客 OpenWRT 忽略内核依赖|OhYee 博客 V2Ray + TLS + WS(WSS) Docker 部署|OhYee 博客
Zeek 导出 PCAP|OhYee 博客
2022-04-28 · via OhYee 博客

这是一篇最后编辑于 4 年前 的文章,其内容可能与目前实际情况差异较大,请注意甄别

Zeek 导出 PCAP

对于一个网络流量处理的系统,将繁杂的网络流量处理成元数据后,保留原本会话的能力也比较重要。
特别是在元数据解析出现问题(比如协议实现不规范),或是需要对部分特殊的流量进行留档取证时

Zeek 本身并不直接支持该功能,但可以通过预留的接口变相实现

涉及到原始流量的,主要有两类函数

  • dump_current_packet():将目前正在解析的 packet,以 PCAP 形式追加入文件
  • set_contents_file():设置一个文件用于存储接收到的流量二进制

同时,由于 Zeek 解析同一个文件时,每一次都会随机一个 id,在测试期间会生成大量相同内容的文件,因此这里选择使用 五元组 + 时间戳 进行哈希运算,作为文件名。

对于 dump_current_packet(),每解析一个 packet,都需要调用一次。在 tcp 协议中,对应的触发事件应该是 tcp_packet();而在 udp 中,则要对请求和响应分别进行处理,对应 udp_request()udp_request()

set_contents_file() 存储的是二进制数据,如果后续要进行处理,则需要对上行流和下行流进行区分(大部分情况下应该只保存 PCAP 就足够了)。同时,该函数只支持 TCP 数据,因此还需要在设置前判断协议类型。

export {
    const extract_pcap   = F                    &redef;
    const extract_binary = F                    &redef;
    const extract_directory = "extract_files"   &redef;

    redef record connection += {
        hash:                   string &log &optional;
        pcap_filename:          string &log &optional;
        binary_filename_orig:   string &log &optional;
        binary_filename_resp:   string &log &optional;
    };

    function get_connection_hash(c:connection):string {
        if (!c?$hash) {
            c$hash = md5_hash(c$id, c$start_time);
        }
        return c$hash;
    }
}

function get_pcap_name(c: connection):string {
    if (!c?$pcap_filename) {
        local hash = get_connection_hash(c);
        c$pcap_filename = fmt("%s/%s.pcap", extract_directory, hash);
    }
    return c$pcap_filename;
}

function get_binary_name(c: connection, is_orig: bool):string {
    local hash = c$uid;
    if (is_orig) {
        if (!c?$binary_filename_orig) {
            hash = get_connection_hash(c);
            c$binary_filename_orig = fmt("%s/%s_orig.bin", extract_directory, hash);
        }
        return c$binary_filename_orig;
    } else {
        if (!c?$binary_filename_resp) {
            hash = get_connection_hash(c);
            c$binary_filename_resp = fmt("%s/%s_resp.bin", extract_directory, hash);
        }
        return c$binary_filename_resp;
    }
}

function extract_packet_pcap(c: connection) {
    if (extract_pcap) {
        local filename = get_pcap_name(c);
        dump_current_packet(filename);
    }
}

event tcp_packet(c: connection, is_orig: bool, flags: string, seq: count, ack: count, len: count, payload: string) {
    extract_packet_pcap(c);
}

event udp_request(u: connection) {
    extract_packet_pcap(u);
}

event udp_reply(u: connection) {
    extract_packet_pcap(u);
}

event new_connection(c: connection) {
    # only tcp support set_contents_file
    if (extract_binary && get_conn_transport_proto(c$id) == tcp) {
        local filename_orig = get_binary_name(c, T);
        local f_orig = open_for_append(filename_orig);
        set_contents_file(c$id, CONTENTS_ORIG, f_orig);

        local filename_resp = get_binary_name(c, F);
        local f_resp = open_for_append(filename_resp);
        set_contents_file(c$id, CONTENTS_RESP, f_resp);
    }    
}