NanmiCoder/MediaCrawler

Maintainer? Show your league in your README

Card: your league's emblem, from Copper to Legendary

[![bestofgithub](https://bestofgithub.dev/badge/NanmiCoder/MediaCrawler.svg?style=card)](https://bestofgithub.dev/repo/NanmiCoder/MediaCrawler)

Flat: fits beside your other badges

[![bestofgithub](https://bestofgithub.dev/badge/NanmiCoder/MediaCrawler.svg)](https://bestofgithub.dev/repo/NanmiCoder/MediaCrawler)

Loading README…

平台	关键词搜索	指定帖子ID爬取	二级评论	指定创作者主页	登录态缓存	IP代理池	生成评论词云图
小红书	✅	✅	✅	✅	✅	✅	✅
抖音	✅	✅	✅	✅	✅	✅	✅
快手	✅	✅	✅	✅	✅	✅	✅
B 站	✅	✅	✅	✅	✅	✅	✅
微博	✅	✅	✅	✅	✅	✅	✅
贴吧	✅	✅	✅	✅	✅	✅	✅
知乎	✅	✅	✅	✅	✅	✅	✅

赞助商	介绍
	TikHub.io 提供 900+ 高稳定性数据接口，覆盖 TK、DY、XHS、Y2B、Ins、X 等 14+ 海内外主流平台，支持用户、内容、商品、评论等多维度公开数据 API，并配套 4000 万+ 已清洗结构化数据集，使用邀请码 `cfzyejV9` 注册并充值，即可额外获得 $2 赠送额度。
	NodeMaven 是面向网页抓取和自动化场景的高效代理服务商，提供市面上最高质量的 IP。主要优势包括 99.9% 可用性、ZIP 邮编定位、IP 过滤（所有代理的欺诈评分均低于 97%）、无需 KYC，以及代理带宽检测器、Meta 标签检测器、IP 查询等独家免费工具。MediaCrawler 用户使用优惠码 `CRAWLER35` 可享移动和住宅代理 35% 折扣，使用 `CRAWLER40` 可享 ISP（静态）代理 40% 折扣。👉 访问 NodeMaven
	感谢 OpenLux 对本项目的赞助！OpenLux 是一个面向企业的一站式 AI 聚合平台，汇集全球各大厂商主流大模型，平台提供高效、稳定的服务与及时的技术支持。Claude、OpenAI、Gemini 系列模型基准折扣分别低至官方的 0.882 折、0.4 折和 0.8 折。MediaCrawler 用户还可享受专属福利：通过专属链接注册，充值最高可享 7.5% 优惠！👉 立即体验
	SX.ORG 是专为高频数据采集与反爬对抗打造的高性能代理网络，完美适配 MediaCrawler 等多平台抓取工具。核心优势包括全球 190+ 地区真实住宅 IP 池、99.9% 稳定连通率、精准国家/城市及 ASN 运营商定位、全面支持 HTTP(S) 与 SOCKS5 协议，以及针对社交媒体风控优化的智能会话轮换。MediaCrawler 用户使用专属优惠码 `CRAWLER3G` 注册即可免费领取 3GB 优质测试流量。👉 访问 SX.ORG 领取 3GB 流量
	ProxyLane 提供中国住宅 IP（电信、联通、移动），适合在海外服务器运行 MediaCrawler，出口可固定到上海、北京、广州、深圳等城市。在 static 模式的代理用户名后加 `_c_CN_city_Shanghai` 即可使用上海住宅 IP，完整配置见 3 步接入指南。MediaCrawler 用户使用优惠码 `MEDIACRAWLER3GB` 注册即可免费领取 3GB 流量。👉 免费领取 3GB
	Proxy-Seller 是面向网页抓取、数据采集与自动化场景的专业代理服务商，提供住宅、移动（4G/5G/LTE）、静态 ISP、数据中心 IPv4 与 IPv6 五大产品线，覆盖全球 220+ 地区，拥有 4700 万+ 住宅 IP 资源，可精准定位国家、城市及运营商（ISP）。主要优势包括 99.7% 可用性、全面支持 HTTP(S) 与 SOCKS5 协议、静态/轮换 IP 灵活切换、高并发请求支持，以及提供 RESTful API 与多语言 SDK（Python、Node.js、PHP、Java、Go），并配备 24/7 技术支持。服务通过 ISO/IEC 27001 与 ISO 9001 认证，全球用户已超 18.5 万，适合 MediaCrawler 等多平台抓取工具使用。MediaCrawler 用户使用优惠码 `MCRAWLER15` 可享 15% 折扣。👉 访问 Proxy-Seller
	感谢 DragTokens（Drag API）对本项目的赞助！DragTokens 专注于为开发者提供多模型 API 中转服务，支持 Claude Code、Codex、Gemini CLI 等 AI 编程工具，覆盖 GPT、Claude、Gemini 等主流模型。Claude 官方客户端专用分组倍率低至 1.1×（对比官方 API 约 1.55 折，节省约 84.5%）、Codex 倍率低至 0.3×（约 0.42 折，节省约 96%）、Gemini 倍率低至 0.25×（约 0.35 折，节省约 96.5%），号池峰值 TPM 达 7 亿。 🎁 通过专属链接注册的新用户即送赠金，单次充值满 100 元还可享受 10% 返现！配套新手入门、工具配置及 API 示例文档，接入有教程，使用有指引。不存储您的提示词与模型回复，并为企业及高校团队提供专属账户池、对公转账与开票支持。

🔥 MediaCrawler - 自媒体平台爬虫 🕷️

🤝 特别感谢金牌赞助商

📖 项目简介

🔧 技术原理

✨ 功能特性

🎯 核心功能升级

🏗️ 架构设计优化

🎁 额外功能

🚀 快速开始

📋 前置依赖

🚀 uv 安装（推荐）

🟢 Node.js 安装

📦 Python 包安装

🌐 浏览器驱动安装（可选）

🌍 Chrome 浏览器配置（推荐）

🚀 运行爬虫程序

开发调试（推荐）

构建生产资源

WebUI 功能特性

界面预览

创建并激活 Python 虚拟环境

安装依赖库

安装 playwright 浏览器驱动

运行爬虫程序（原生环境）

💾 数据保存

💬 交流群组

💰 赞助商展示

🤝 成为赞助者

☕ 请作者喝杯咖啡

📚 其他

🧩 我的其他项目

⭐ Star 趋势图

📚 参考

免责声明

1. 项目目的与性质

2. 法律合规性声明

3. 使用目的限制

4. 免责声明

5. 知识产权声明

6. 最终解释权