我使用scrwpy监控亚马逊的一个网页变化，请问为啥老是判断第一个链接啊 - 互助问答

互助问答 » 我使用scrwpy监控亚马逊的一个网页变化，请问为啥老是判断第一个链接啊

我要提问 / 分享返回列表

查看：482 | 回复：13

Cc.

我使用scrwpy监控亚马逊的一个网页变化，请问为啥老是判断第一个链接啊

发表于 2021/9/15 9:35:10

楼主

QQ图片20210915113528.jpg

QQ图片20210915113544.jpg

大家好，我在使用scrwpy监控亚马逊的一个网页变化，请问为啥老是判断第一个链接啊？

飞鸟

发表于 2021/9/15 9:35:54

沙发

这代码

Cc.

发表于 2021/9/15 9:38:43

板凳

小白嘛 .. 体谅点

发表于 2021/9/15 9:40:53

4楼

写的不错，

Cc.

发表于 2021/9/15 9:44:05

5楼

QQ图片20210915113827.jpg

可是为啥老是判断第一个呀

爬取的链接倒是挺多的

飞鸟

发表于 2021/9/15 9:48:43

6楼

说出你的需求

Cc.

发表于 2021/9/15 9:53:18

7楼

# -*- coding: utf-8 -*-
import scrapy
import time
import smtplib
from email.mime.text import MIMEText
from email.header import Header
import datetime as dt

class JiankongSpiderSpider(scrapy.Spider):
    name =  jiankong_spider 
    #allowed_domains = [ guangzhou.okcis.cn ]
    start_urls = [ https://www.amazon.com/s?k=power+bank i=mobile rh=n%3A2335752011%2Cp_36%3A9000-10000 dc qid=1631606774 rnid=2491154011 ref=sr_nr_p_36_1 ]

    def parse(self, response):
        link = response.xpath( //a[@class= a-link-normal a-text-normal ]/@href ).extract()
        title = response.xpath( //a[@class= a-link-normal a-text-normal ]/span/text() ).extract()
        price = response.xpath( //div[@class= a-row a-size-base a-color-base ]/a/span[1]/span[1]/text() ).extract()
        for links,titles,prices in zip(link,title,price):
            zb =  https://www.amazon.com/ +str(links)+ 标题： +str(titles)+  价格： +str(prices)
            print( 第一次 ,zb)
            old_score =   
           
            new_score = zb
            print(new_score)
            while True:
                if old_score != new_score:
                    print( -------------------------------------------------------------------监控到发生变化------------------------------------------------------------------- )
                    print( 变化内容: , old_score)
                    old_score = new_score
                else:
                    print( 没有变化  )
                    time.sleep(10)

就是需要判断每次爬取的链接是否发生变化，变化后的新链接和原链接打印出来

不是得用while True 一直循环着才能每次提取判断？

晚上被饿醒

发表于 2021/9/15 9:56:12

8楼

字符串对比

旧的存起来，新的比一下就行了

飞鸟

发表于 2021/9/15 9:59:19

9楼

首先你 start_urls只请求了一个，得到了link title price都是一个数据来的

不会变的

你这逻辑都是错的

Cc.

发表于 2021/9/15 10:01:17

10楼

yield 回去不是也可以

飞鸟

发表于 2021/9/15 10:01:59

11楼

你这有yield？

共有13条回复，每页10条 1 2 刷新

返回列表