全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 719|回复: 6
打印 上一主题 下一主题

curl是否可以实现单单只下载目标网址的某个分块

[复制链接]
跳转到指定楼层
1#
发表于 2012-9-15 00:23:21 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 金关村村长 于 2012-9-15 00:44 编辑

某个网页,curl整个下载回来大小为2m左右,耗时30秒.
能不能实现只下载这个网页的某一给小部分,比如说30分之一,让整个流程耗时缩短为1s?
用命令行下面的curl -r选项应该不能实现这个需求,php的curl库有没有这样的实现?
目标网站支持http1.1

目标网址不是静态html,也不是html结尾
2#
发表于 2012-9-15 00:57:32 | 只看该作者
这个网地必须要支持断点续传才行。

先得到这个文件的大小,然后加上自定义请求头
  1. Range:  bytes=201-400
复制代码
Range头域可以请求实体的一个或者多个子范围,Range的值为0表示第一个字节,也就是Range计算字节数是从0开始的
表示头500个字节:bytes=0-499
表示第二个500字节:bytes=500-999
表示最后500个字节:bytes=-500
表示500字节以后的范围:bytes=500-
第一个和最后一个字节:bytes=0-0,-1
同时指定几个范围:bytes=500-600,601-999

评分

参与人数 1威望 +20 收起 理由
金关村村长 + 20 很给力!

查看全部评分

3#
发表于 2012-9-15 01:04:51 | 只看该作者
村长又要干坏事了

评分

参与人数 1威望 +20 收起 理由
金关村村长 + 20 没有的事......

查看全部评分

4#
 楼主| 发表于 2012-9-15 01:17:52 | 只看该作者
本帖最后由 金关村村长 于 2012-9-15 01:22 编辑
newphp 发表于 2012-9-15 00:57

                    

% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current                                                                                     Dload  Upload   Total   Spent    Left  Speed     0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0connected                                                                                    

> GET /en/beautiful-london-style-burgundy-satin-sweetheart-flower-rosettes-cocktail-dresses-short-sheath/view/ HTTP/1.1                                         > Range: bytes=0-100                                                            
> User-Agent: curl/7.21.0 (i486-pc-linux-gnu) libcurl/7.21.0 OpenSSL/0.9.8o zlib/1.2.3.4 libidn/1.15 libssh2/1.2.6                                                                                               
> Accept: */*                    

用了-r选项之后curl就在头部包含了一个range信息,但是结果依然是把整个网页下载回来了,对于静态html用-r选项可以正常,不知道是不是目标地址不支持断点续传?
5#
发表于 2012-9-15 01:45:58 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
6#
 楼主| 发表于 2012-9-15 01:56:04 | 只看该作者
http://stackoverflow.com/questions/2032924/how-to-partially-download-a-remote-file-with-curl

找到了这个,问题算部分解决
7#
发表于 2012-9-15 07:04:19 | 只看该作者
村长,好久不见啊。据说这样有分?

评分

参与人数 1威望 +20 收起 理由
金关村村长 + 20 有!

查看全部评分

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-5-9 05:44 , Processed in 0.077238 second(s), 15 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表