Python 爬虫之提取微信公众号文章

在上文中,我们已经将微信公众号文章的标题和链接存入了一个 txt 文件,每个一行。 接下来我们要做的就是从链接中提取文章正文,以便之后的分析。 首先我们打开一篇文章,以这篇文章为例 机关事业单位职工注意:这47种行为会被开除,违纪将影响养老金,我们右击文章正文文字,检查元素所在位置,发现文章正文部分所在标签为 p。

1 检查网页源代码也可以发现,正文文字都在 p 标签下,知识每部分文字的格式、字号等有所不同,那么我们可以使用 BeautifulSoup 中的 findall 函数来获取所有的 p 标签,这样就可以获得文章的全部正文部分。

2
2

代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
def extractData(file):
titles = [row for row in file[::3]] // 列表解析
links = [row for row in file[1::3]]

for title,link in zip(titles,links):
path = os.getcwd() + "/共青团中央/" + title + ".txt"
web_data = requests.get(link)
soup = BeautifulSoup(web_data.text, 'lxml')
with open(path, 'a', encoding='utf-8') as fh:
for content in soup.find_all("p"):
fh.write(content.text)
fh.close()
print(title + " end")

if __name__=='__main__':
filename = open("共青团中央.txt", 'r', encoding='utf-8').readlines()
extractData(filename)

在上面的代码中,我们首先从之前存入的 txt 文件读取 title 和 link,因为我们是按行存储,所以我们用 readline 按行读取,得到数据的列表,之后用列表解析的方式得到 title 列表和 link 列表,获取正文后存入新的 txt 文件。

# Python

Comments

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×