81 lines
2.2 KiB
Markdown
81 lines
2.2 KiB
Markdown
# Cookie 和链接数据采集工具
|
||
|
||
## 项目简介
|
||
本项目是一个基于 Python 的网页数据采集工具，功能包括：
|
||
- 抓取指定网页的所有链接 (`<a>` 标签的 `href`) 和 Cookie。
|
||
- 截取页面截图并保存。
|
||
- 生成包含链接、截图和 Cookie 文件信息的 Excel 报表。
|
||
|
||
---
|
||
|
||
## 环境要求
|
||
- **Python 版本**：3.7+
|
||
- **浏览器驱动**：`chromedriver`，需与 Chrome 浏览器版本匹配。
|
||
- **操作系统**：支持 macOS、Linux 和 Windows。
|
||
## 安装 `chromedriver` 并配置路径
|
||
|
||
### 1. 安装 **Homebrew**
|
||
#### 首先，确保你已经安装了 **Homebrew**。如果没有安装，可以通过以下命令进行安装：
|
||
```bash
|
||
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
|
||
```
|
||
|
||
### 2. 通过 Homebrew 安装 chromedriver
|
||
|
||
安装完成 Homebrew 后，使用以下命令通过 Homebrew 安装 chromedriver：
|
||
|
||
```bash
|
||
brew install chromedriver
|
||
```
|
||
|
||
### 3. 确认 chromedriver 安装路径
|
||
安装完成后，chromedriver 会自动放置在 Homebrew 默认的可执行文件路径中，通常是 /opt/homebrew/bin/（对于 M1 或 M2 芯片的 Mac）。你可以通过以下命令确认安装位置：
|
||
```bash
|
||
which chromedriver
|
||
```
|
||
该命令会返回 chromedriver 的完整路径，例如：/opt/homebrew/bin/chromedriver。
|
||
|
||
### 4. 确认 chromedriver 安装路径
|
||
安装完成后，代码中无需手动指定 chromedriver 的路径。只需在 Service 中使用默认路径即可：
|
||
|
||
```bash
|
||
from selenium.webdriver.chrome.service import Service
|
||
service = Service(executable_path='/opt/homebrew/bin/chromedriver')
|
||
```
|
||
|
||
|
||
|
||
## 设置虚拟环境
|
||
|
||
### 1. 创建虚拟环境
|
||
|
||
为了确保项目的依赖包与系统的其他 Python 包不冲突，推荐使用虚拟环境。以下是如何创建虚拟环境的步骤。
|
||
|
||
#### 在 macOS 或 Linux 上：
|
||
1. 打开终端。
|
||
2. 进入你的项目目录。
|
||
3. 创建虚拟环境：
|
||
|
||
```bash
|
||
python3 -m venv venv
|
||
```
|
||
4. 激活虚拟环境：
|
||
|
||
```bash
|
||
source venv/bin/activate
|
||
```
|
||
|
||
|
||
|
||
### 2. 依赖安装
|
||
在运行代码之前，需安装项目依赖的 Python 库：
|
||
```bash
|
||
pip install -r requirements.txt
|
||
```
|
||
|
||
### 3. 执行代码
|
||
```bash
|
||
python main.py
|
||
```
|
||
|