爬虫下载文章 BeautifulSoup

栏目: Python · 发布时间: 7年前

内容简介:爬虫下载文章 BeautifulSoup
# coding=utf-8


from bs4 import BeautifulSoup
import urllib
import urllib2
import sys
reload(sys)
sys.setdefaultencoding('utf8')
url = 'http://www.pythontab.com/html/pythonhexinbiancheng/index.html'

request = urllib2.urlopen(url)

html = request.read()

# print html

# 解析方式
soup = BeautifulSoup(html, 'html.parser')
'''
 <ul class="list lh24 f14" id="catlist">
                    <li>
                <h3>Python高级教程</h3>
                <a href="http://www.pythontab.com/html/2017/pythonhexinbiancheng_0821/1166.html" target="_blank" >
                <h2>一名数据挖掘工程师给新人整理的入门资料</h2>  </a>
                <p>四年前我一次听说数据挖掘这个词,三年前我学习了数据挖掘理论知识,两年前我做了几个与数据挖掘有关的项目,一年前我成为一名数据挖掘工程   <a href="http://www.pythontab.com/html/2017/pythonhexinbiancheng_0821/1166.html" class="content_detail" target="_blank">[详细]</a></p>
            </li>
'''

# 先通过id 找 再通过标签找,注意空格必须有

# 找到链接和标题
items = soup.select('#catlist > li > a')

# 只找到标题
titles = soup.select('#catlist > li > a > h2')

# 找超链接和标题,方便后续分割
links = soup.select('#catlist > li > a')
for i in items:
    print i.get_text()

# zip函数,titles和links是列表通过zip将两个列表下标对应的两个作为字典
'''
l1 = [1,2,3]
l2 = {'a','b','c'}
d = zip(l1,l2)

[(1, 'a'), (2, 'c'), (3, 'b')]
'''

items = []
for title, link in zip(titles, links):
    data = {
        'title': title.get_text(),  # 获取标签的文本
        'link': link.get('href')  # 获取标签的属性
    }
    items.append(data)

# 输出标题和链接
for i in items:
    print i['title'], i['link']

'''
 <div class="content">
 
'''
# 获取超链接内容
for i in items:
    request = urllib2.urlopen(i['link'])
    html = request.read().encode('utf-8')
    soup = BeautifulSoup(html, 'html.parser')
    title = i['title']
    texts = soup.select('div.content > p')
    content = []
    for t in texts:
        content.append(t.get_text().encode('utf-8'))

    with open('file/%s.html' % title, 'wb') as f:
        f.write(i['title']+'\n'+html)
       # for cont in content:
        #    f.write(cont+'\n')

 


以上所述就是小编给大家介绍的《爬虫下载文章 BeautifulSoup》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

爱上Arduino

爱上Arduino

Massimo Banzi / 于欣龙、郭浩赟 / 人民邮电出版社 / 2012-10 / 38.00元

《硬件开源电子设计平台:爱上Arduino(第2版)》全面透彻地介绍了arduino的相关内容,它会给你带来许多项目的点子,并帮助你顺利地实现从开始策划直到完成安装的全过程。由于《硬件开源电子设计平台:爱上Arduino(第2版)》是arduino项目合作创始人massimobanzi所著,其中一定融入了创始人对开源硬件的独到见解。《硬件开源电子设计平台:爱上Arduino(第2版)》内容完全考虑......一起来看看 《爱上Arduino》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试