用Python写网络爬虫 Yong Python xie wang luo pa chong

作为一种便捷地收集网上信息并从中抽取出可用信息的方式,网络爬虫技术变得越来越有用。使用Python这样的简单编程语言,你可以使用少量编程技能就可以爬取复杂的网站。 《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南,讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外,本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据,以及有关爬取技术的更多真相,比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫,并对一些真实的网站进行了爬取。 《用Python写网络爬虫》介绍了如下内容: 通过跟踪链接来爬取网站; 使用lxml从页面中抽取数据; 构建线程爬虫来并行爬取页面; 将下载的内容进行缓存,以降低带宽消耗; 解析依赖于Jav... 作为一种便捷地收集网上信息并从中抽取出可用信息的方式,网络爬虫技术变得越来越有用。使用Python这样的简单编程语言,你可以使用少量编程技能就可以爬取复杂的网站。 《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南,讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外,本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据,以及有关爬取技术的更多真相,比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫,并对一些真实的网站进行了爬取。 《用Python写网络爬虫》介绍了如下内容: 通过跟踪链接来爬取网站; 使用lxml从页面中抽取数据; 构建线程爬虫来并行爬取页面; 将下载的内容进行缓存,以降低带宽消耗; 解析依赖于JavaScript的网站; 与表单和会话进行交互; 解决受保护页面的验证码问题; 对AJAX调用进行逆向工程; 使用Scrapy创建高级爬虫。 本书读者对象 本书是为想要构建可靠的数据爬取解决方案的开发人员写作的,本书假定读者具有一定的Python编程经验。当然,具备其他编程语言开发经验的读者也可以阅读本书,并理解书中涉及的概念和原理。 Ben shu jiang jie le ru he shi yong Python lai bian xie wang luo pa chong cheng xu, Nei rong bao kuo wang luo pa chong jian jie, Cong ye mian zhong zhua qu shu ju de san zhong fang fa, Ti qu huan cun zhong de shu ju, Shi yong duo ge xian cheng he jin cheng lai jin xing bing fa zhua qu, Ru he zhua qu dong tai ye mian zhong de nei rong, Yu biao dan jin xing jiao hu, Chu li ye mian zhong de yan zheng ma wen ti, Yi ji shi yong Scarpy he Portia lai jin xing shu ju zhua qu, Shi yong ben shu jie shao de shu ju zhua qu ji shu dui ji ge zhen shi de wang zhan jin xing le zhua qu, Zhi zai bang zhu du zhe huo xue huo yong shu zhong jie shao de ji shu. Ben shu jiang jie le ru he shi yongPythonlai bian xie wang luo pa chong cheng xu, nei rong bao gua wang luo pa chong jian jie, cong ye mian zhong zhua qu shu ju de san zhong fang fa, ti qu huan cun zhong de shu ju, shi yong duo ge xian cheng he jin cheng lai jin xing bing fa zhua qu, ru he zhua qu dong tai ye mian zhong de nei rong, yu biao dan jin xing jiao hu, chu li ye mian zhong de yan zheng ma wen ti, yi ji shi yongScarpyhePortialai jin xing shu ju zhua qu, shi yong ben shu jie shao de shu ju zhua qu ji shu dui ji ge zhen shi de wang zhan jin xing le zhua qu, zhi zai bang zhu du zhe huo xue huo yong shu zhong jie shao de ji shu