引言

为了将最新的抖音默认 Emoji 表情包集成到 Twikoo 评论系统中，通过在浏览器开发者工具观察了抖音网页版资源加载情况，我发现这些资源（总数超过 200 个）统一存储在其对象存储服务的某个域名下的特定文件夹内。由于资源数量庞大，手动逐个下载显然不是一个好的方法（没错，但是我以前这么干过！）。

本文旨在记录和分享个人学习研究过程，请严格遵守相关法律法规，勿将此技术用于任何非法用途。

HAR 全称是 HTTP 存档格式 (HTTP Archive format) 本质上是 JSON 对象，主要用于记录网页浏览器与网站服务器 HTTP 会话的交互过程。这里面会包含网页请求的很多信息，当然包括所有资源的 URLs。

观察网页资源来源

举个例子，访问 抖音网页版 登录账号，可以在评论区看到它的默认表情包，右键任意一个默认表情包单击 检查，切换到 Sources 选项卡注意到默认表情包资源路径为 p3-pc-sign.douyinpic.com 域名的 obj/tos-cn-i-tsj2vxp0zn 目录下，我需要的就是这个路径下所有的 .webp 图片资源。

浏览器生成 HAR 文件

切换到 Network 选项卡，在过滤框输入资源路径：

1. 打开录制按钮，确保它是红色的
2. 清除现有请求
3. 勾选 Preserve log 保留日志
4. 点击 Reload page 刷新页面

点击右上角的导出按钮，保存到本地的 www.douyin.com.har

提取资源 URLs 链接

我们直接使用 grep 和 awk 工具对 HAR 文件进行处理，将所有包含 p3-pc-sign.douyinpic.com/obj/tos-cn-i-tsj2vxp0zn 的资源链接每行一条 URL 提取出来，写入到 douyin_urls.txt

grep -o '"url": "[^"]*obj/tos-cn-i-tsj2vxp0zn[^"]*"' www.douyin.com.har | awk '{gsub(/"url": "/, ""); gsub(/"/, ""); print}' > douyin_urls.txt

批量下载资源

使用 cURL 批量下载 douyin_urls.txt 里面的资源

echo "开始批量下载图片并添加 .webp 扩展名..."
while IFS= read -r url; do
    if [ -n "$url" ]; then
        base_name=$(echo "$url" | awk -F'/' '{print $NF}' | awk -F'?' '{print $1}')
        final_filename="${base_name}.webp"
        curl -s -L -o "$final_filename" "$url"
        echo "已下载：$final_filename"
    fi
done < douyin_urls.txt
echo "所有图片下载完成。文件已保存在当前目录下。"

完成，享受😎！

参考信息：

• HAR 分析器 - Google 管理员工具箱