Erlo

Python爬取食品商务网蔬菜价格数据,看看蔬菜最近的价格情况

时间:2020-09-17   阅读:15次   来源:博客园
页面报错
点赞

前言

蔬菜是指可以做菜、烹饪成为食品的一类植物或菌类,蔬菜是人们日常饮食中必不可少的食物之一。
近期,蔬菜价格有所上涨,引起广泛关注。“双节”将至,物价走势如何?
9月16日,国家发改委召开9月份例行新闻发布会。针对蔬菜价格上涨相关情况,国家发改委新闻发言人孟玮表示,蔬菜的生长周期比较短,后期随着极端天气减少,秋季蔬菜陆续上市,市场供应有望在较短时间内恢复,鲜菜价格将随之回落。

项目目标

爬取食品商务网蔬菜价格数据
受害网址

https://price.21food.cn/

 

爬虫代码

导入工具

import requests
import parsel
import csv
import time

 

解析网站,爬取数据

for page in range(1, 19):
    time.sleep(1)
    url = 'https://price.21food.cn/guoshu-p{}.html'.format(page)

    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }

    response = requests.get(url=url, headers=headers)
    selector = parsel.Selector(response.text)
    lis = selector.css('.gs_top_t2_left div:nth-child(1) .sjs_top_cent_erv ul li')
    dit = {}
    for li in lis:
        name = li.css('a::text').get()
        dit['品种'] = name
        price = li.css('td span::text').get()
        dit['平均价格'] = price
        qushi = li.css('td .sc_up::text').get()
        if qushi == None :
            dit['趋势'] = '下降'
        else:
            dit['趋势'] = qushi

        csv_write.writerow(dit)
        print(dit)

 

保存数据

f = open('data.csv', mode='a', encoding='utf-8-sig', newline='')
csv_write = csv.DictWriter(f, fieldnames=['品种', '平均价格', '趋势'])
csv_write.writeheader()

 

相关推荐

提交留言

评论留言

还没有评论留言,赶紧来抢楼吧~~

吐槽小黑屋()

* 这里是“吐槽小黑屋”,所有人可看,只保留当天信息。

  • Erlo吐槽

    Erlo.vip2020-09-24 02:59:18Hello、欢迎使用吐槽小黑屋,这就是个吐槽的地方。
  • 返回顶部