微信号:smartcrawler_net
多节点并发请求、超时熔断、多站点数据聚合,1秒内响应、定制开发
商品价格:
¥ 0.01
数据提供方式: Http接口调用
产品发货说明:注册帐户充值后直接调用,每个爬虫可免费调用10次用于调试
在线调试说明:用户登录成功后,可在线对爬虫进行调试
聚美优品-实时抓取爬虫支持定制化开发,如果我们提供的现有服务无法满足您的需求,可以联系我们的客服,灵智爬虫将为您提供量身定制的产品。在与我们确认需求后,我们一般三个工作日内完成相应的产品开发与上线,最大限度的满足你的需求。
聚美优品-实时抓取爬虫是在收到用户请求后,爬虫系统创建相应的采集任务,向相应的采集节点推送相应的任务,数据采集节点收到爬虫任务后;从资源池中获取相应的系统资源立即发起请求,向目标网站采集相应的数据,同时并发的启动数据清洗器,并依据相应的数据清洗规则清洗数据。在数据完成采集之后,向服务端返回相应的结果。为了保证能以最快的速度采集数据,系统将把采集任务向各个运营商的采集网络节点推送任务,同步发起网络请求。保证始终能使用到最优的网络节点,以最快的速度采集到相应的数据。
聚美优品-实时抓取爬虫支持对html,json,pdf,xml,图片,csv,excel,word等各类数据进行提取、清洗操作。灵智爬虫将借助第三方的OCR服务,完成图片中文本数据的识别;并且为了提高识别的准确率,可以对图片进行相应的切割操作,根据不同的文本类型进行相应的识别。
聚美优品-实时抓取爬虫赠送10次免费调试次数,帮助用户完成爬虫的调试。实时采集爬虫调用之前,用户必须保证帐户有足够的余额,如果余额不足,接口调用无法成功。用户可以在用户中心,为自已的帐户进行相应的充值。
聚美优品-实时抓取爬虫单次调用费用由以下部分组成:执行费用(包含免费的数据条数)+ 单条数据费用x数据条数(超出免费数据条数的数据量)。
聚美优品-实时抓取爬虫支持超时熔断,用户在请求接口时,可以指定超时熔断的时间,如果在指定时间内未返回结果的话,请求将会中断,将相应的错误码返回用户。防止用户长时间等待请求。
聚美优品-实时抓取爬虫支持相应的数据缓存,用户在请求时,可以指定是否使用缓存与缓存的超时时间。
聚美优品-实时抓取爬虫支持多网站的数据聚合,一次请求,可以将多个网站的结果聚合到一起,合并成更全面、完整的数据。
聚美优品-实时抓取爬虫支持多种数据状态的采集,包括查询(表示数据未发生任何更改)、新增、删除、修改;修改状态支持字段值变化、新增字段、删除字段、字段数据类型变化(Schema变化)。以上的监控类型,仅支持JSON格式,目前爬虫返回的数据格式基本都是JSON。
参数名 | 说明 |
userRisInvoke.userId | 用户Id |
userRisInvoke.risWpsId | 爬虫编号 |
userRisInvoke.risRecordItemId | 爬虫功能编号 |
userRisInvoke.timestamp | 请求的时间戳 |
userRisInvoke.token | HmacSha256算法,使用字段:userId,risWpsId,timestamp,traceId相拼接成的字符串,通过用户的key加密生成 |
userRisInvoke.traceId | 请求的追踪编号,用于跟踪数据,使用uuid,不能重复,并去掉中杠【-】,所有的字母转换为大写。 |
userRisInvoke.extractTypes | 提取的数据类型,支持:create(新数数据),query(查询数据),update(更新数据),delete(删除数据) |
userRisInvoke.executeParameter | 执行的参数,用户输入要查询数据的网址,多个网址之间用分号分隔 |
联系我们
2020-2030 上海智殊商务咨询有限公司 版权所有