大佬们，为什么selenium没有request抓取的内容详细 - 互助问答

查看：400 | 回复：7

( 0 x 0 )

大佬们，为什么selenium没有request抓取的内容详细

发表于 2021/10/22 11:42:04

楼主

我对同一个网页分别采用两种方法，结果发现request抓的更多

10.22.1.png

( 0 x 0 )

发表于 2021/10/22 11:43:33

沙发

10.22.2.png

以上为各自代码

我看人家说selenium方便，的确操作网页很爽，但是抓取东西老是抓不住

天涯

发表于 2021/10/22 11:45:46

板凳

你用find_element_by_xpath不会提示你这个方法即将弃用吗？

纳豆向前冲

发表于 2021/10/22 11:49:31

4楼

要等如果是纯抓取动作的话api易用性不如puppeteer

但是selenium自带集群 puppeteer要自己实现

( 0 x 0 )

发表于 2021/10/22 11:51:01

5楼

@天涯

没注意，他貌似划了条线，我以为本来就是这样

@纳豆向前冲

具体资料要怎么搜，我研究下

( 0 x 0 )

发表于 2021/10/22 12:54:11

6楼

大佬们，我有了委婉的新思路，先用selenium操作搜索，然后用driver.current_url拿到网址，再用request请求该网址，最后爬取出来内容！我简直是天才

cloud

发表于 2021/10/22 12:57:03

7楼

为啥不直接request带参数请求

( 0 x 0 )

发表于 2021/10/22 12:58:06

8楼

要在搜索框搜索内容，用selenium操作方便点