利用PHP和CURL高效抓取新闻列表及详情
本文详细阐述如何运用PHP和CURL从目标网站获取新闻列表和新闻详情。主要难点在于：目标网站新闻列表页面的链接为相对路径，需将其转换为绝对路径；以及需要二次抓取，获取新闻详情页的内容。
首先，我们用CURL获取列表页的HTML源码。以下代码演示如何用CURL获取页面内容，并用正则表达式提取新闻标题和相对路径：
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.xx.com/news'); // 请替换为实际的列表页URL
curl_setopt($ch, CURLOPT_REFERER, 'http://www.xx.com'); // 设置Referer，模拟浏览器访问
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
$html = curl_exec($ch);
curl_close($ch);
// 使用正则表达式提取新闻标题和相对路径
preg_match_all('/<a href="https://www.php.cn/link/01bebc8e971d09cb90cf5756b340f24c" title=".+?">https://www.php.cn/link/01bebc8e971d09cb90cf5756b340f24c<\/a>/', $html, $matches);
$newslist = [];
foreach ($matches[0] as $key => $value) {
$newslist[] = [
'title' => trim($matches[2][$key]),
'relative_path' => $matches[1][$key]
];
}
这段代码先用CURL获取列表页的HTML内容。然后，它使用正则表达式/https://www.php.cn/link/01bebc8e971d09cb90cf5756b340f24c/匹配标签，提取href属性值（相对路径）和标签内的文本（新闻标题）。 请注意，正则表达式需要根据实际HTML结构调整。
接下来，我们将相对路径转换为绝对路径，并用CURL获取新闻详情页的内容：
$baseUrl = 'http://www.xx.com'; // 请替换为实际的网站根域名
foreach ($newslist as $news) {
$fullUrl = $baseUrl . $news['relative_path'];
$ch = curl_init($fullUrl);
// ... (重复之前的CURL设置) ...
$detailHtml = curl_exec($ch);
curl_close($ch);
// 使用正则表达式提取新闻内容
preg_match('/<div class="content text-xs">https://www.php.cn/link/01bebc8e971d09cb90cf5756b340f24c<\/div>/', $detailHtml, $contentMatch); // 调整正则表达式以匹配新闻内容
$newsContent = isset($contentMatch[1]) ? trim($contentMatch[1]) : '';
// 输出新闻标题、完整路径和内容
echo "标题: " . $news['title'] . "<br><br>";
echo "链接: " . $fullUrl . "<br><br>";
echo "内容: " . $newsContent . "<br><br><br>";
}
这段代码遍历$newslist数组，将每个新闻的相对路径转换为绝对路径，然后用CURL获取详情页的HTML内容。接着，它使用另一个正则表达式提取新闻内容。 同样，这个正则表达式也需要根据实际HTML结构调整。最后，它输出新闻标题、完整路径和内容。
请注意，代码中使用的正则表达式仅为示例，实际应用中需根据目标网站的HTML结构修改。如果目标网站使用了复杂的HTML结构或动态加载技术，可能需要更复杂的解析方法，例如使用DOM解析器。 此外，为避免对目标网站造成过大压力，建议添加一定的延时机制。
以上就是如何用PHP和CURL高效采集新闻列表和详情？的详细内容，更多请关注知识资源分享宝库其它相关文章！
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。