一个人，一座城，你到底在乎什么？Python 爬虫告诉你！(一个人一座城表达什么意思)

java8

帖子摘要：大家好我是安果有时候我们想知道生活在这座城市的人每天交流的事情然后对数据进行一些分析方便我们更好地了解城市的特征及居民的需求以重庆为例最火爆的论坛是购物狂每天都有大量的帖子内容产生基本上囊括了重庆......

+ I# N  Q+ D/ y% h. d* t大家好，欢迎来到Java吧（www.java8.com），交流、学习Java技术、获取Java资源无任何套路，今天说一说：“一个人，一座城，你到底在乎什么？Python 爬虫告诉你！”

e0b812240b22297e848c28a0f7cb72f8.png (289.56 KB, 下载次数: 0, 售价: 1 金钱)

2023-1-19 14:32 上传

点击文件名下载附件
e0b812240b22297e848c28a0f7cb72f8.png

大家好我是安果
有时候我们想知道生活在这座城市的人每天交流的事情然后对数据进行一些分析方便我们更好地了解城市的特征及居民的需求
以重庆为例最火爆的论坛是购物狂每天都有大量的帖子内容产生基本上囊括了重庆人的衣食住行
本篇文章将介绍使用 Scrapy 爬取该论坛数据的完整教程
1. 爬虫
目标对象
aHR0cHM6Ly9nby5jcW1tZ28uY29tL3RocmVhZC9sYXN0ZXN0P3BhZ2U9MQ==
我们需要爬取所有页面帖子中所有的回帖信息
1-1 安装依赖

# 安装依赖
; R. g( n' p3 `) {" {& l& }
pip3 install Scrapy
# 生成词云
pip3 install jieba
pip3 install stylecloud
复制代码

1-2 创建项目及爬虫

# 创建项目
1 d& ?- a, A7 \
scrapy startproject cq_all
$ i) V/ l3 ^: s" {8 r$ B
# 创建一个 CrawlSpider 爬虫
cd cq_all
scrapy genspider -t crawl talk "HOST"
复制代码

1-3 定义 Item 实体对象
在 items.py 文件中将需要爬取的数据定义为 Item
这里只需要爬取帖子的标题、URL 及所有回帖内容

# items.py
import scrapy
3 @1 N% A$ W$ K% u/ F" r
class CqAllItem(scrapy.Item):
    # define the fields for your item here like:
" ~; f. Y8 Z6 z( R! _( Q' P
    # name = scrapy.Field()
, z  D$ X: I9 B* m6 Z* I& s. C/ h( P- m
    title = scrapy.Field()  # 帖子标题
    url = scrapy.Field()  # URL
    content = scrapy.Field()  # 内容
复制代码

1-4 编写爬虫
在 spiders 文件夹下的爬虫文件中编写具体的爬虫逻辑
首先通过定义 rules指定要爬取的地址然后使用 Xpath 语法解析出所有文本内容
PS通过设定 follow 为 True可以爬取某一个帖子所有的回帖数据

# talk.py
5 j9 E" J1 T" B8 Y2 }* I$ G
from scrapy.linkextractors import LinkExtractor
- v$ L9 Y$ c+ ^& L( q& @/ t5 Z; V$ V
from scrapy.spiders import CrawlSpider, Rule
( `0 }8 B( f7 \) L, ?3 Y7 f
class TalkSpider(CrawlSpider):
    name = 'talk_all'
! p& _# p2 l- O" J
    allowed_domains = ['HOST']
    start_urls = ['https://HOST/thread/lastest?page={}'.format(i + 1) for i in range(20)]
    rules = (
        Rule(LinkExtractor(allow=r'https://HOST/forum-\d+-thread-\S+.html', deny=r'safeRedirect'),
) x& T; G& {7 {) @6 v: r
             callback='parse_forum',
             follow=True),
& a* o4 ^9 U6 K3 ]+ S7 ]) ~
    )
$ N& a1 R% S! C6 S. m' m; S* a* v
        def parse_forum(self, response):
        """
        解析帖子
) ^2 [6 `9 F: C0 o) O& j
        :param response:
; f: M: S! t1 ^3 z4 H! e
        :return:
$ K) w! k* L, x3 U
        """
5 _, q( B" {, G9 d( @4 J( f  D
        try:
; g7 s6 a; d  r0 g
            # 帖子标题
            title = response.xpath('//*[@id="view-hd"]//span/text()').extract()[0]
. A6 Q9 t; p# t8 R! M$ ]& U
            # URL
            url = response.url
. w: m' D# D5 X9 S& p% \
            # 获取内容并获取其真实文字内容
            content = get_content(
" t4 t! w5 b) I6 T
                response.xpath('//*[@id="view-bd"]//table[@class="view-data"]//div//text()').extract())
0 Q7 f* a- r1 z! t+ c$ z
            # 导航标题栏
% q% l" M+ ^5 x' b6 H0 }5 T/ K; o
            tab_titles = response.xpath('//*[@id="nav"]//a/text()').extract()
7 q. u$ x' E9 O1 |% y$ r
            # 过滤特殊帖子比如公告
            if not in_exclude_tabs(tab_titles):
% _/ f0 l8 M3 A
                if content:
4 s! w& x9 H8 \; t' `
                    # print("帖子URL", url, "标题", title, "内容:", content)
                    item = CqAllItem()
3 S& |( U, {) A
                    item['title'] = title
) Q7 T/ k* a2 J8 S  g- Y" d6 i
                    item['url'] = url
                    item['content'] = content
                    yield item
                else:
                    # print("过滤掉帖子URL", response.url, "内容为空")
. @9 u! W( B" C) W; U+ T5 Q
                    pass
            else:
! ^9 H& g9 {/ s
                # print("过滤掉过滤的帖子Tab:", tab_titles, "地址", response.url)
                pass
, g2 M. ^# F$ ?
        except Exception as e:
            print("产生异常异常信息:", str(e))
复制代码

为了过滤无效信息这里对回帖内容及 Tab 进行一次初步过滤

# 排除的Tab过滤无效信息
exclude_tabs = ['公告','网友中心']
6 o/ r4 N  S5 Y* q! s' d) f3 F
def get_content(contents):
# j0 O; C4 z3 w3 ^' ^6 J
    """
) K7 y1 p& K0 l( u3 ^5 o2 f, ~
    去掉空格换行符
+ f6 U9 A, f# R* l$ x& S/ b
    :param contents:
6 W9 B7 I" \5 [  r5 b) ]+ T
    :return:
    """
8 n8 a( X) m3 E! i3 [
    result = ''
* T) W9 S* G+ v  {  S
    for item in contents:
        result += item.strip()
8 l# `+ ~0 v4 ?" M: n4 z
    return result
7 y; U9 M' ^9 j

& P1 s* I& _' z/ M
def in_exclude_tabs(tab_titles):
/ F! U, ?8 a% x
    result = False
    for tab_title in tab_titles:
        if tab_title in exclude_tabs:
5 D- S; x8 ^/ p( T1 `
            result = True
' \3 y  Y. _. d* k9 W' P' @( n. _9 v
            break
1 `- r- b2 g3 G) L( D
    return result
复制代码

1-5 反反爬
为了应对网站的反爬这里需要进行如下处理

下载延迟

自定义请求头

禁用重定向

# settings.py
& d" N( Q9 ~) w; l/ m% Y
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 1
# 禁用重定向
REDIRECTS_ENABLED = False
6 Z* {$ o# ?4 S* n+ k3 A: S
# talk.py
# 自定义请求头
5 i; p* s! w& G8 m; s
custom_settings = {
8 [" d" ^1 N/ l5 ~2 D. d1 k
        "COOKIES_ENABLED": False,
; o7 g0 L8 q5 `2 P3 F8 x
        "DOWNLOAD_DELAY": 3,
* z. q! }/ o8 P& i5 s" y& P, k
        'DEFAULT_REQUEST_HEADERS': {
            'Accept': '*/*',
            'Accept-Encoding': 'gzip, deflate, br',
. u1 v: K7 o7 g
            'Accept-Language': 'zh-CN,zh;q=0.9',
% D/ Q3 d" `3 X, K8 I& l
            'Connection': 'keep-alive',
5 Z; ^4 }+ `& a1 X0 O; f  T
            'Content-type': 'application/x-www-form-urlencoded;',
/ P9 K% y8 n* r* F, s' o
            'Host': 'go.cqmmgo.com',
            'Origin': 'https://HOST',
3 Q/ ~: A% D. g- ~
            'sec-ch-ua': '"Not?A_Brand";v="8", "Chromium";v="108", "Google Chrome";v="108"',
            'sec-ch-ua-mobile': '?0',
            'sec-ch-ua-platform': "Windows",
0 q6 J) c' f7 Z
            'Sec-Fetch-Mode': 'cors',
/ G7 s' V- I  f% L
            'Sec-Fetch-Site': 'same-origin',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36',
            'Referer': 'https://HOST/',
            'Cookie': '*',
7 D8 A! `- _2 p; u2 e$ x1 Y* q
        }
    }
复制代码

1-6 自定义下载管道 Pipline
在 piplines.py 文件中自定义 2 个下载管道分别将数据写入到本地 CSV 文件和文本文件中

from scrapy.exceptions import DropItem
) [$ Z) J  D7 r- J7 A3 ^# ?
from scrapy.exporters import CsvItemExporter
from cq_all.items import CqAllItem
9 w- r# A9 K9 m# ]

class DuplicatesPipeline(object):
    """
    Pipline去重复的帖子
" l" l. P3 Z6 A& F
    """
* ~3 z/ f5 f/ d
    def __init__(self):
3 r4 d& g" u% a( o6 d3 y
        self.talk_set = set()
' {1 H( _. ?3 s9 L3 {: Y
    def process_item(self, item, spider):
        name = item['title']
- o% R  n; H) I4 E! m
        if name in self.talk_set:
            raise DropItem("Duplicate book found:%s" % item)
/ P0 T6 P2 u1 y1 T% e7 e7 k4 a  e
        self.talk_set.add(name)
$ A4 r0 g6 G4 t6 t+ s7 k) E
        return item
5 X0 U: t% Y5 u! l! b

class CqAllPipeline(object):
    """保存CSV"""
    def __init__(self):
        self.file = open("./cq_all.csv", 'wb')
+ K' q( M4 [2 M# J
        self.exporter = CsvItemExporter(self.file, fields_to_export=[
8 x8 }5 P& N  M4 f: |
            'title', 'url', 'content'
        ])
        self.exporter.start_exporting()
- l- q  H! B1 ]  e7 ~$ r
    def process_item(self, item, spider):
' n) }5 x! \2 w4 Z% f0 h1 P' W
        if isinstance(item, CqAllItem):
            self.exporter.export_item(item)
        return item
    # 关闭资源
* i- U+ w6 A' x" m. F% K
    def close_spider(self, spider):
        self.exporter.finish_exporting()
        self.file.close()

class CqAllTxtPipline(object):
& v9 {& E3 C7 g% e: f) ?
    """
    保存到txt文件中
    """
; Q9 Y9 }" ~+ V! U  x
    def __init__(self):
        self.file = open('result.txt', 'w', encoding='utf-8')
    def open_spider(self, spider):
/ ^1 I7 N/ P" I4 _; G4 `$ u8 r
        # self.file = open('result.txt', 'w', encoding='utf-8')
        pass
    def close_spider(self, spider):
        self.file.close()
    def process_item(self, item, spider):
6 t" U; }: K2 x0 v$ [1 U' |
        try:
, X; i8 N" j7 D  E1 y7 k
            if isinstance(item, CqAllItem):
* N. i( o+ T9 ~$ `  c- L
                self.file.write(item['content'] + '\n')
( S& u! j  W; o( m- K3 f$ h( h) @5 |
        except:
            pass
复制代码

1-7 配置爬虫配置文件
打开 settings.py 文件配置默认请求头及数据管道

# settings.py
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
    'Accept': '*/*',
) q: A" n- |6 G
    'Accept-Encoding': 'gzip, deflate, br',
+ n6 V  m8 \- @. {
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Connection': 'keep-alive',
9 `4 X& q9 W8 D9 p
    'Content-type': 'application/x-www-form-urlencoded;',
' C) c! R- ^. g; T8 |
    'Host': 'HOST',
    'Origin': 'https://HOST',
    'sec-ch-ua': '"Not?A_Brand";v="8", "Chromium";v="108", "Google Chrome";v="108"',
. C3 Z5 V( h% n$ `- q& K
    'sec-ch-ua-mobile': '?0',
9 B! f) s# y/ D  Y+ z1 k* x
    'sec-ch-ua-platform': "Windows",
    'Sec-Fetch-Mode': 'cors',
6 `7 a4 V. K& j% Y8 j
    'Sec-Fetch-Site': 'same-origin',
5 G1 K) x4 a2 C- N9 t
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36',
0 L8 ?6 B$ h' Q) `8 D! `
    'Referer': 'https://HOST/'
* A  k2 }: K$ v( m9 f: {  y- Z
}
* x$ P7 W4 Q+ B& T9 d
ITEM_PIPELINES = {
    'cq_all.pipelines.DuplicatesPipeline': 1,
    'cq_all.pipelines.CqAllPipeline': 2,
# A6 f4 ]9 d- Q* A
    'cq_all.pipelines.CqAllTxtPipline': 3,
& q9 u* ?7 N8 f& U: ^' {; r
}
复制代码

1-8 爬虫主入口
在爬虫项目根目录下创建一个文件通过下面的方式运行单个爬虫

# main.py
( S8 p6 m. f( p: G  A' q
from scrapy.cmdline import execute
( W6 A# P+ Y* }0 p' o
import sys, os
" \) \3 U% ]( W4 z- }9 Y2 r
def start_scrapy():
    sys.path.append(os.path.dirname(__file__))
% _/ [8 D# C+ h) S) e3 n& P& w5 i
    # 运行单个爬虫
    execute(["scrapy", "crawl", "talk_all"])
1 H  }7 o1 ?3 y! L+ g5 H9 s+ Q
def pre():
    """
    删除临时文件
2 C0 v* `' i# @4 K0 [8 \2 Q# H
    :return:
    """
    if os.path.exists('cq.png'):
        os.remove("cq.png")
: ^& r$ R* K9 \+ ^
    if os.path.exists('result.txt'):
1 L0 {) P% m. y( x* \7 F) H. Z
        os.remove('result.txt')
! ?1 L6 T6 ~7 _8 v& _6 s5 k9 i
if __name__ == '__main__':
) ^9 Z! f. s" R1 Q* ~
    pre()
' J" Y$ \2 c1 @# |5 ]0 H% c& x* T2 b
    start_scrapy()
复制代码

2. 词云可视化
在爬虫类重写 close 方法根据本地文件绘制成词云图片保存到本地

# talk.py
- s3 U$ E- p  X! `
class TalkSpider(CrawlSpider):
  def close(spider, reason):
    # 绘制词图
2 g+ l( D6 H7 W- Y: G" d; a/ }4 g# q
    gene_word_cloud()
8 k+ a( @1 A* F
    return None
复制代码

2-1 内容预处理
从爬取文本中读取数据后进行预处理过滤一些无用的字符

def gene_word_cloud():
    """根据文件生成词云"""
    with open('result.txt', 'r', encoding='utf-8') as f:
        data = f.read()
& `& K& C- t& ]
        # 文本预处理
        new_data = re.findall('[\u4e00-\u9fa5]+', data, re.S)
9 v" }- o; p# G. W2 h$ \
        new_data = "/".join(new_data)
复制代码

2-2 分词后去除单词

接着使用 jieba 进行分词然后过滤掉单词

import jieba, stylecloud
# 解析
" w, t1 [& ^4 M+ u
word_list_pre = jieba.cut(new_data, cut_all=True)
# 去除单词
word_list = [item for item in word_list_pre if len(item) > 1]
result = " ".join(word_list)  # 分词用空格隔开
复制代码

2-3 停用词汇
为了保证生成词云的有效性我们一般需要自定义停用词汇
这里推荐下面 2 个词汇大家可以在此基础上进行二次编辑

https://github.com/goto456/stopwords/blob/master/cn_stopwords.txt
https://github.com/fwwdn/sensitive-stop-words/blob/master/stopword.dic

def get_cn_stop_words():
5 F% h3 F! @( Y  J/ Y
    """
' M9 i$ P. p. X1 S8 W5 F
    从文件中读取停用中文词
) _/ h+ U# x9 M4 [- m2 E5 Z+ D0 l6 u
    :return:
& c1 Q9 s  a' e3 F2 L8 {& L
    """
. z+ @' P/ q! x0 V3 H% `) I2 W
    stop_words = set()
- E, C5 [. S4 I, c% b5 ~- n
    # 停用词汇
+ I! r% [. m, c7 R4 ?: g
    # https://github.com/fwwdn/sensitive-stop-words/blob/master/stopword.dic
    # https://github.com/goto456/stopwords/blob/master/cn_stopwords.txt
1 |; j5 F. `' C7 a$ s$ ~: `
    with open('cn_stopwords.txt', encoding='utf-8') as f:
/ }# \0 ]( T7 S# R  r' L& {4 L: p
        con = f.readlines()
- v* |% }  T$ T! r* i- }
        for i in con:
            i = i.replace("\n", "")  # 去掉读取每一行数据的\n
            if i:
9 |, C% _" r- L
                stop_words.add(i)
  W$ p- B- c2 V, F8 i3 j3 L  A
    return list(stop_words)
复制代码

2-4 绘制词云
使用 stylecloud 绘制词云的时候我们需要指定图片大小、字体、调色方案、方向、蒙版、停用词汇等参数
其中
调色方案参考

https://jiffyclub.github.io/palettable/cartocolors/qualitative/
复制代码

词云蒙版参考
https://fa5.dashgame.com/#/

import jieba, stylecloud
image_path = 'cq.png'
% c# a" ?* N$ t, `
    # 中文禁用词
    stop_words = get_cn_stop_words()
7 _- ]8 v- ^$ L& Q1 c
    stylecloud.gen_stylecloud(
        text=result,  # 上面分词的结果作为文本传给text参数
5 z. v" \  v+ {3 F! J, A4 j7 h. n
        size=1024,
8 p8 s, S" Z2 q6 ~& t
        font_path='msyh.ttc',  # 字体设置
) D$ L/ s  G2 ?2 g
        palette='cartocolors.qualitative.Pastel_10',  # 调色方案选取从palettable里选择
        gradient='horizontal',  # 渐变色方向选了垂直方向
        icon_name='fas fa-dove',  # 蒙版选取从Font Awesome里选
& v1 A2 d  g* v1 W  z) x
        stopwords=True,  # 布尔值用于筛除常见禁用词
2 l7 E* k: d$ q- a8 o% j
        max_words=200,
        collocations=False,
        custom_stopwords=stop_words,
        output_name=image_path)
复制代码

2-5 消息推送
我们读取本地图片使用企业微信机器人发送出去

import re, base64, hashlib
8 P0 o4 Z9 n7 ^! n; b
import requests
/ m+ O- o9 @. @1 C" K
def send_wx():
# Q& R9 j  Z1 c; K# V% r  B
    """
    将词云图片发送到微信
    :return:
    """
: }) r6 c, S4 j- U) A6 n1 {
    with open(image_path, 'rb') as file:  # 转换图片成base64格式
8 V4 ^/ ?3 e8 b" @. P6 R
        data = file.read()
        image_data = str(base64.b64encode(data), 'utf-8')
. L% d4 x& k* Q
    with open(image_path, 'rb') as file:  # 图片的MD5值
- h' Q5 i' O2 ]% p  X  P
        md = hashlib.md5()
        md.update(file.read())
& W. h2 v+ u, ^; `2 b% i0 u) d
        image_md5 = md.hexdigest()
    url = 'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xx'
    headers = {"Content-Type": "application/json"}
    data = {
( [; K. y3 ?) b+ l. z7 z
        "msgtype": "image",
        "image": {
            "base64": image_data,
            "md5": image_md5
        }
$ ]) c% J9 i! T( I
    }
, F6 B3 S0 Q1 f" T2 z
    result = requests.post(url, headers=headers, json=data)
    return result
复制代码

3. 最后
在本机运行成功之后我们就可以将程序部署到服务器了
需要注意的是服务器一般没有中文字体我们需要额外安装字体
以 CentOS 为例我们首先需要安装 fontconfig 和 ttmkfdir然后下载中文字体放置到中文字体目录下接着修改配置文件 fonts.conf最后刷新字体缓存即可
关于文中出现的任何疑惑欢迎大家在文末留言交流
推荐阅读
5 分钟教你用 Python 制作一个生日提醒

实战 | 教你快速爬取热门股票辅助量化交易

实战 | 如何利用 Scrapy 编写一个完整的爬虫

END
好文和朋友一起看~

本文来源csdn，由Java吧转载发布，观点不代表Java吧的立场，转载请标明来源出处：https://www.java8.com

一个人，一座城，你到底在乎什么？Python 爬虫告诉你！(一个人一座城表达什么意思)

java8 LV9