PHP的数据采集,大家都不陌生,有很多方式方法,比如RSS,API等,对于 API来说,有很多是直接调用,比如说淘宝网站数据,根本没有必要再重新入库,直接调用就可以,这样还节省了很多的资源,有的会在速度上产生瓶颈,最多是把数据文章放在本地,然后再调用。

然而类似淘宝的这种API数据,只是单API,如果是多API数据调用,就必须要入库,然后还要进行系列的工作,比如说一些团购网站的API数据,就必须要入库,然后还要进行很多的统一处理。这样的话,API就不仅仅是一个接口的问题,就成了数据源。

在采集的方式上可以是手动也可以是自动,不知道为什么,国内的很多程序都喜欢是手动,国外的多数都是自动,通过触发和计划任务来实现。可是,多API的采集不同于单API数据采集,原因有两点,一是API的切换,另一个是数据的统一处理。可以看下面的UML

 从上面的流程可以看出,最关键的地方,是数据的统一,和API的调度切换最关键,尤其是在API的调试和切换上,不能用循环,因为,不知道一个API的数据量是多少,所以还是要用跳转的方法首先要把一骨干数据结构采集入库,然后再进行跳转采集,不过,这样的话,我没有试过计划任务是否能行,手动采集是绝没问题。

自由转载,转载请注明: 转载自WEB开发笔记 www.chhua.com

本文链接地址: PHP的多API数据采集 http://www.chhua.com/web-note2657

相关笔记

更多