php curl 大量数据采集
-
phpcurl大量数据采集时比如有500个页面我是用FOR循环的方法但是当页面特别多时，FOR就打不开了请问有其它方法吗？能不间断的批量采集呢？... php curl 大量数据采集时 比如有500个页面 我是用FOR 循环的方法 但是当页面特别多时，FOR就打不开了 请问有其它方法吗？ 能不间断的批量采集呢？ 展开
全部评论(1条)
-
- 卷毛96 2016-09-30 00:00:00
- 这个需要配合js，打开一个html页面，首先js用ajax请求页面，返回diyi个页面信息确定处理完毕（ajax有强制同步功能），ajax再访问第二个页面。（或者根据服务器状况，你可以同时提交几个URL，跑几个相同的页面） 参数可以由js产生并传递url，php后台页面根据URL抓页面。然后ajax通过php，在数据库或者是哪里设一个标量，标明检测到哪里。由于前台的html页面执行多少时候都没问题，这样php的内存限制和执行时间限制就解决了。 因为不会浪费大量的资源用一个页面来跑一个瞬间500次的for循环了。（你的500次for循环死了原因可能是获取的数据太多，大过了php限制的内存） 不过印象中curl好像也有强制同步的选项，就是等待一个抓取后再执行下一步。但是这个500次都是用一个页面线程处理，也就是说肯定会远远大于30秒的默认执行时间。
-
赞(11)
回复(0)
热门问答
- php curl 大量数据采集
- phpcurl大量数据采集时比如有500个页面我是用FOR循环的方法但是当页面特别多时，FOR就打不开了请问有其它方法吗？能不间断的批量采集呢？... php curl 大量数据采集时 比如有500个页面 我是用FOR 循环的方法 但是当页面特别多时，FOR就打不开了 请问有其它方法吗？ 能不间断的批量采集呢？ 展开
2016-09-29 07:31:43
416
1
- PHP 数据采集 太慢
- 程序的思路是打开网页然后正则表达式匹配，提取有用内容但是由于网页很多，导致数据采集非常慢，如何能改进？网上的那些数据采集器是什么原理？... 程序的思路是打开网页 然后正则表达式匹配，提取有用内容 但是由于网页很多，导致数据采集非常慢，如何能改进？ 网上的那些数据采集器是什么原理？ 展开
2013-03-27 01:22:13
354
2
- php curl采集，服务器gzip压缩返回数据怎么办
2018-11-12 05:13:41
241
0
- php curl采集，服务器gzip压缩返回数据怎么办
2017-02-22 02:27:28
384
1
- 想通过.pac文件用php的curl实现代理可以吗
2018-11-17 23:00:52
345
0
- 如何把asp网站的数据采集到php网站中
- 之前的网站是用asp做的，现在想要把网站升级成php开发的，之前网站里面的新闻列表如何能采集到php网站中... 之前的网站是用asp做的，现在想要把网站升级成php开发的，之前网站里面的新闻列表如何能采集到php网站中 展开
2017-07-20 07:07:58
467
2
- 什么叫php架构？
2015-03-05 17:34:59
254
2
- PHP PAC PAFC分别是什么
2018-11-20 11:45:07
351
0
- 封装 继承 多肽什么意思 php
2018-12-05 03:11:37
402
0
- 怎样运行simpletest测试php类
2015-12-27 06:51:07
419
1
- PHP进销存软件数据库的设计问题？
- 如题，我想开发一个PHP的进销存软件，现在遇到一个问题想不通问题如下：1.录入表单把数据写到数据库中，然后保存该记录为录入2.统计表统计已经录入的问题来了，加入统计表中已有数据例... 如题，我想开发一个PHP的进销存软件，现在遇到一个问题想不通 问题如下： 1.录入表单把数据写到数据库中，然后保存该记录为录入 2.统计表统计已经录入的 问题来了，加入统计表中已有数据例如 商品名称 规格 数量 价格 合计 铅笔 支 3 1.5 4.5 再录入 商品名称 规格 数量 价格 合计 铅笔 支 10 1.5 15 我要怎么做才能让统计表中的数据自动添加为正确的数据，就是自动更新录入的数据，而不是覆盖原数据 2.领用表 假如领用了3支铅笔，怎么做才能从统计表中扣除呢？ 大概能想到的就这些 展开
2018-07-25 08:03:43
561
2
- PHP 实现一个合理分配功能
- 1、把人员分成20组2、5个实验台1实验台需要2小时2实验台需要3小时3实验台需要4小时4实验台需要1小时5实验台需要5小时3、每个实验台每个小组必须都做一遍。4、一天做不完，可以推到第二... 1、把人员分成 20组 2、5个实验台 1 实验台需要2小时 2 实验台需要 3小时 3 实验台需要 4小时 4 实验台需要 1小时 5 实验台需要 5小时 3、每个实验台 每个小组必须都做一遍。 4、一天做不完，可以推到第二天，第二天完不成可以再推 等等 5、diyi小组占用实验台 ，第二小组可以选择别的实验台，第三小组等等类推 6、假设 2017-11-1日开始 假如上午8点开始 12点结束 假如下午13点开始 18点结束 结果模拟 diyi小组 diyi天 diyi小组第二天 1实验台 8点-10点 3实验台 4实验台 10点-11点 4实验台 5实验台 13点-18点 第二小组 第二小组第二天 2实验台 8-11 1实验 4实验台 11-12 5实验 3实验台 13-17 第三小组 等等 如何实现求助 怎么实现算法。求助 第三小组 展开
2018-11-22 01:04:26
253
0
- php设置编码的头文件怎样写
2017-10-15 12:48:58
382
1
- 求大量化学式！！！
- 本人求大量现存物质的化学式，要求带物质名称，希望大家把自己知道的化学式全部写上，先说声谢谢。1天之内给出化学式Z多的250分送上，望大家帮个忙~！！！
2007-12-23 15:05:17
601
3
- php快速开发网站 用什么框架
2017-11-11 07:51:15
433
1
- PHP 打开文件成功 但写入失败
- 代码 --------------- dataStr="FMsg/".date("y-m-d");//获取当前日期作为文件夹名 $this->file_old="FMsg/... 代码
---------------
dataStr="FMsg/".date("y-m-d");//获取当前日期作为文件夹名
$this->file_old="FMsg/model.html";
$this->file_new=$this->dataStr."/pap1122.html";
if(file_exists($this->dataStr))
{echo "exist
";
copy($this->file_old，$this->file_new);
if(!$this->f_open=fopen($this->file_new，'w'))
{print "can't open file
";exit;} if(!fwrite($this->file_new，"yaya")) {print "can't write in this file
";exit;} print "write sucess"; fclose(!$this->f_open); } else { mkdir($this->dataStr);}//创建目录 } } $newhtme=new FmsgToHtml(); ?> -------------- 输出 ------------ exist can't write in this file ------------ 请高手指点。 展开
2011-07-04 01:21:16
506
4
- 数据采集板，什么是数据采集板
2017-05-17 08:57:00
572
1
1月突出贡献榜
推荐主页
最新话题
-
- #八一建军节——科技铸盾，仪器护航#
- 如何选择到合适的磷青铜绞线？磷青铜绞线的质量...如何选择到合适的磷青铜绞线？磷青铜绞线的质量解析和如何选择到合适的绞线？磷青铜绞线是一种特殊的铜合金导线，由铜、锡和磷等元素组成，具有很好的机械性能、电气性能和耐腐蚀性。磷青铜绞线基本定义与特性：磷青铜是铜与锡、磷的合金，质地坚硬，可制弹簧。典型成分为铜(90%)、锡(6-9%)及磷(0.03-0.6%)锡元素提升合金的强度和耐腐蚀性，磷则细化晶粒、增强耐磨性铸造性能。耐磨性：表面氧化层使其在特殊环境下耐腐蚀，使用寿命长导电性：保持铜很好导电性能的同时有化电子传输路径非铁磁性：不含铁元素，避免在强磁场环境中产生额外能量损耗弹性：受到外力作用时能迅速恢复原状
- 八一建军节 铁血铸军魂
沪公网安备 31011502008050号
参与评论
登录后参与评论