- 准备工作
在开始之前，我们需要安装并配置好以下工具： - PHP：在本示例中，我们使用PHP作为开发语言。
- Elasticsearch：用于存储和搜索爬虫监控数据。
- Composer：用于管理PHP依赖。
安装依赖
我们使用Composer来安装PHP Elasticsearch客户端库，运行以下命令：
composer require elasticsearch/elasticsearch
创建Elasticsearch连接
使用以下代码创建一个Elasticsearch连接：
require 'vendor/autoload.php';
use ElasticsearchClientBuilder;
$client = ClientBuilder::create()
->setHosts(['localhost:9200'])
->build();
在上述代码中，我们设置了Elasticsearch的主机和端口，根据你的实际情况进行修改。
创建爬虫监控索引
在Elasticsearch中，我们需要先创建一个索引来存储爬虫监控数据。运行以下代码创建索引：
$params = [
'index' => 'spider_monitor',
'body' => [
'mappings' => [
'properties' => [
'url' => ['type' => 'text'],
'status' => ['type' => 'keyword'],
'timestamp' => ['type' => 'date']
]
]
]
];
$response = $client->indices()->create($params);监控爬虫状态
在爬虫程序中，我们可以通过向Elasticsearch中插入数据来实时监控其状态。以下是一个示例代码：
$url = "http://example.com";
$status = "running";
$timestamp = date('Y-m-d H:i:s');
$params = [
'index' => 'spider_monitor',
'body' => [
'url' => $url,
'status' => $status,
'timestamp' => $timestamp
]
];
$response = $client->index($params);在上述代码中，我们将爬虫的URL、运行状态和当前时间戳作为文档插入到索引中。
查询爬虫状态
通过使用Elasticsearch的搜索功能，我们可以查询到特定时间范围内的爬虫状态。以下是一个示例代码：
$params = [
'index' => 'spider_monitor',
'body' => [
'query' => [
'range' => [
'timestamp' => [
'gte' => '2022-01-01T00:00:00',
'lt' => '2022-12-31T23:59:59'
]
]
]
]
];
$response = $client-
.........................................................