注册
登录
互助问答 » 多个url同时爬取并写入同一个txt文件,如何在写入的过程中去重
我要提问 / 分享返回列表
查看：310 | 回复：12
佚名
多个url同时爬取并写入同一个txt文件,如何在写入的过程中去重
发表于 2022/11/3 13:52:29
楼主

多个url同时爬取并写入同一个txt文件,如何在写入的过程中去重

可见即可爬
发表于 2022/11/3 13:54:52
沙发

你爬一个不就行了

佚名
发表于 2022/11/3 13:58:07
板凳

我需要同时爬3个

奶疼
发表于 2022/11/3 14:00:13
4楼

那你在写入时读取文本内容进行判断不就行了

佚名
发表于 2022/11/3 14:02:22
5楼

那就要频繁打开文件判断

遍历一次打开一次

奶疼
发表于 2022/11/3 14:06:51
6楼

那你实在不行运行时候给一个缓存列表

不过这样第二次打开就是没用了

佚名
发表于 2022/11/3 14:07:43
7楼

难道要写去到3个文件，然后再文件之间去重吗

正解
发表于 2022/11/3 14:10:16
8楼

你爬的量有多大？

佚名
发表于 2022/11/3 14:13:34
9楼

几十万吧

正解
发表于 2022/11/3 14:17:22
10楼

去重是内容去重还是url去重？

佚名
发表于 2022/11/3 14:22:09
11楼

内容去重


共有12条回复，每页10条     1   2   刷新
返回列表
立即注册站大爷用户，免费试用全部产品
立即注册站大爷用户，免费试用全部产品

快速咨询热线：

024-31823261

  • 国家高新技术企业证书编号：GR202321001563

  • 增值电信经营许可证： 辽B2-20180026

  • 互联网虚拟专用网业务许可证：B1-20181940

  • 公司地址：沈阳市浑南区上深沟村沈阳国际软件园F7座

产品

支持

文档

关于

声明：本站不搜集数据不存储数据，也不买卖数据，所有资源仅用作数据传输通道。禁止利用本平台资源从事任何违反本国（地区）法律法规的活动，用户所有操作行为均有日志存档并保留6个月。
站大爷 - 专业的大数据基础服务平台 Copyright@2012-2024 | 辽B2-20180026