python抓取糗事百科

直接上代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
__title__ = ''
__author__ = 'Administrator'
__mtime__ = '2016/1/7'
# code is far away from bugs with the god animal protecting
    I love animals. They taste delicious.
"""
import re

import urllib
import urllib2
import cookielib
import sys

# 使得 sys.getdefaultencoding() 的值为 'utf-8'
reload(sys)                      # reload 才能调用 setdefaultencoding 方法
sys.setdefaultencoding('utf-8')  # 设置 'utf-8'


page = 1
url = "http://www.qiushibaike.com/hot/page/" + str(page)
login_header = {
    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
}
request = urllib2.Request(url, headers=login_header)
try:

    response = urllib2.urlopen(request)
    content = response.read().decode('utf-8')
    # print(response1.getcode())
    # print(len(response1.read()))
except urllib2.URLError, e:
    if hasattr(e, "code"):
        print e.code
    if hasattr(e, "reason"):
        print e.reason


pattern = re.compile('<a.*?<h2>(.*?)</h2>.*?</a>.*?<div.*?>(.*?)<!--(.*?)-->.*?</div>.*?<div.*?<i.*?class="number">(.*?)</i>.*?</div>', re.S)

items = re.findall(pattern, content)

for item in items:
    #print(item[0], item[1], item[2], item[3])
    print(item[0].strip())
    print(item[1].strip())
    print(item[2].strip())
    print(item[3].strip())
    print('===========')

效果

D:\Python27\python.exe F:/python/scrapy/url0107.py
佛讲同缘,道法自然!
初中时候,楼主比较瘦弱,但是同桌是个“高大威猛”女汉子……<br/>有次有几个“小痞子”在教室欺负楼主,她二话没说,上去抱住楼主,一把摔倒,对那几个小痞子说:你们看,这样瘦弱,你们忍心欺负吗?!
1452130112
3467
===========
90後不爱冬眠
小的时候,和村里的一人起了争执,我一气之下就把他给打了,打完之后他哭着说要去告诉他哥。我一听,这下坏了,他哥揍人下手非常的狠,我越想越觉得不能就这么便宜了他,于是追上去,把他按在地上又打了一顿!!
1452074315
9987
===========
小恩同学~
每次看完恐怖片后。和厕所的距离。
1452095299
464
===========
我不犯二谁犯二
到了适婚年龄了,于是向老妈取经,:妈,我是找个喜欢我的人还是找个我喜欢的人呢?老妈:当然是你喜欢的人啊。我:为什么呀。老妈:因为没有人会喜欢你啊。是亲娘吗
1452103713
8169
===========
110流浪的猫
最近妞妞期末摸底考试一直不错,今天拿回一张试卷,才考78分,我一看火了:咋这么点分?是不是骄傲了?<br/><br/>妞妞挺委屈:最后让写一篇短文,占了20分,题目是&lt;勤劳的妈妈&gt;,实在不知道怎么写。。。
1452076836
19090
===========
陌路莫回。媚娘
我当年生完孩子回娘家,老公特别勤快的给我和闺女打包尿片衣服各种生活用品、开门下车还塞给我600块钱说“老婆多住几天没关系的、钱不够给我打电话!把我感动的快哭了!临走时这货来了句“今晚终于可以睡个安稳觉了!”
1452086961
11557
===========
未来的蔚蓝
今天早上起来晨跑,有个女的问我,看你天天一个人跑,你老婆呢?我说有老婆在身边这么冷谁起来这么早乱跑……
1452150721
2508
===========
落花时节花落
哥们看上了一女的,让我扮流氓,结果我差点被那女的打屎,幸好哥们及时赶来救我,后来那女的竟然看上我了,原因是我好欺负。。。。。我该怎么办
1452098455
13069
===========
麦田里的春天。
lz是个差生。大学毕业一年了,今天被叫去给侄儿教作业。只想说一句,三年级的英语对我具有很高的挑战性,,,
1452069670
7906
===========
豆姥爷逗豆豆
听县医院一同学讲的:一八十多的老头,骑自行车遇一九十多的老头,非要带上他,结果两人都住院了
1452032694
7259
===========
叫我小磊就好
有一天我坐公交,到站后上来一位妇女抱着一个小孩,我很有眼力的给让了座,然后那位妇女笑着对那个小男孩说 : 快说谢谢,儿子。然后那个小男孩微笑着对我说 : 谢谢儿子。
1452111219
8743
===========
蛋蛋夹大鸟
大一刚开学军训。一男生背来一女生,女生很痛苦的样子。医生检查后,那男生问医生女生得了什么病。医生说是痛经。男生华丽丽的来了一句,她是哪根经痛啊,痛的那么厉害!!!医务室的护士、病人集体凌乱了!!!
1452091716
11300
===========
一本正经的假正经
我不会告诉你它是流浪到我家的
1452086799
353
===========
F有你真好C
别嫌老婆烦,除了她 谁特么大半夜的不睡觉给你打电话要你注意安全 早点回家!!!
1452115852
4701
===========
三炮五十六
就刚刚,三岁的儿子从床上下来跑到我跟前说:爸爸我刚才喝奶和太多了。我以为他肚子难受就问他是不是想去嘘嘘,结果臭小子说:不嘘嘘,我想耍奶疯。。。。玛的,他才三岁啊,这词儿都搁哪学的啊
1452121213
5528
===========
童萌
本人体毛奇多,昨天洗澡的时候室友盯着我身上的体毛看了好久之后说了一句:你是不是每次洗澡擦一遍沐浴露还要再擦一次护发素啊?当时我心里的那个醉啊。。。
1452071472
8812
===========
微信小视频群!日更百部
儿子特别不爱洗脸、昨天晚上带他去吃肯德基、就指着旁边坐的黑人老外说:儿子你要是再不爱洗脸以后就像他一样黑、没想到那个老外转身拍了拍我儿子、用一口流利的普通话说:你爸爸撒谎呢!我这是天生的!
1452116189
6816
===========
隔三差五犯点二
期末历史考试,有一题:秦始皇和汉武帝你更欣赏哪一位?一学生答:我更欣赏秦始皇,因为他焚书坑儒,把书烧了,把老师埋了,学生就不用上学了!
1452088078
7723
===========
吟小隐
媳妇怀孕八个月了,马上要生个猴宝宝。。割咯咯咯各割。。今天媳妇对我说“你看你孩儿要出生了,你要送她什么礼物呢?要不送个金猴的项链吧。”我说送项链他那么小也带不了啊。媳妇来了句。。。“她妈替她带。。”媳妇你好机智啊!!
1452111979
7377
===========
张小鸟儿
没事抱着八岁的外甥女教育:你长大了要找个像舅舅一样的男人嫁,知道不?<br/><br/>外甥女答应:嗯。<br/><br/>刚放下,她又跟我说:可是舅舅,我还是喜欢比较帅的。
1452076552
8067
===========

Process finished with exit code 0

标签: crawl

添加新评论