扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
要同时爬取多个网站，可以使用Python的多线程或多进程，这里以多线程为例，使用requests库进行网络请求，使用BeautifulSoup库进行网页解析。
目前成都创新互联已为近1000家的企业提供了网站建设、域名、虚拟主机、网站改版维护、企业网站设计、福鼎网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。
安装所需库：
pip install requests pip install beautifulsoup4
接下来，编写爬虫代码：
import requests
from bs4 import BeautifulSoup
import threading
定义一个函数，用于爬取单个网站
def crawl(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 在这里添加你需要提取的数据，例如提取所有的标题
titles = soup.find_all('h1')
for title in titles:
print(title.text)
定义一个函数，用于启动多个线程
def start_threads(urls):
threads = []
for url in urls:
thread = threading.Thread(target=crawl, args=(url,))
thread.start()
threads.append(thread)
for thread in threads:
thread.join()
定义需要爬取的网站列表
urls = [
'https://www.example1.com',
'https://www.example2.com',
'https://www.example3.com',
]
调用函数，开始爬取
start_threads(urls)
这个示例中，我们定义了一个crawl函数，用于爬取单个网站，我们定义了一个start_threads函数，用于启动多个线程，我们定义了一个需要爬取的网站列表，并调用start_threads函数开始爬取。
注意：在实际应用中，请确保遵守网站的爬虫政策，不要对网站造成过大的访问压力。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网