爬虫存在于整个互联网当中，许多企业都需要收集信息，而使用爬虫可以更快的从海量信息中提取需要的信息，但是其他网站也不想白白把这些信息拱手让出去，而且爬虫采集信息也会对网站造成影响，因此网站会采用各种方法，比如IP限制、验证码限制、采用动态网页加大难度等等。
对于IP限制、验证码限制，可以采用兔子代理IP、验证码识别工具突破限制，而动态网页，问题会更加复杂些，一起去看看什么是动态网页，如何爬取动态网页。
什么是动态网页，如何爬取动态网页
一、什么是动态网页
所谓的动态网页，是指跟静态网页相对的一种网页编程技术。
静态网页，随着html代码的生成，页面的内容和显示效果就基本上不会发生变化了——除非你修改页面代码。而动态网页则不然，页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。
值得强调的是，不要将动态网页和页面内容是否有动感混为一谈。这里说的动态网页，与网页上的各种动画、滚动字幕等视觉上的动态效果没有直接关系，动态网页也可以是纯文字内容的，也可以是包含各种动画的内容，这些只是网页具体内容的表现形式，无论网页是否具有动态效果，只要是采用了动态网站技术生成的网页都可以称为动态网页。
总之，动态网页是基本的html语法规范与Java、VB、VC等高级程序设计语言、数据库编程等多种技术的融合，以期实现对网站内容和风格的高效、动态和交互式的管理。因此，从这个意义上来讲，凡是结合了HTML以外的高级程序设计语言和数据库技术进行的网页编程技术生成的网页都是动态网页。
二、如何爬取动态网页
第一种解决方案是采用一些第三方的工具，模拟浏览器的行为，去加载数据。
比如：Selenium、PhantomJs。
优点：不必考虑动态页面的各种变化多端(无论动态数据如何变化，最终呈现在页面上的效果是固定的)，我们只用关心最终的现实结果即可;可以统一处理。
缺点：性能低下，比如使用Selenium，每次我们都需要去启动一个浏览器进程;配置繁琐，不同的浏览器需要下载不同的驱动以及jar包，并且驱动和jar包之间有严格版本匹配关系，如果不匹配就不能使用。
第二种解决方案是分析页面，找到对应请求接口，直接获取数据。
优点：性能高，使用方便。我们直接获取原数据接口(换句话说就是直接拿取网页这一块动态数据的API接口)，肯定会使用方便，并且改变的可能性也比较小。
缺点：缺点也是明显的，如何获取接口API?有些网站可能会考虑到数据的安全性，做各种限制、混淆等。这就需要看开发者个人的基本功了，进行各种分析了。
如何爬取动态网页？网站是静态的还是动态的，可以通过一些简单的方法区分，比如有“查看更多”字样或者打开网站时下拉才会加载内容出来的进本都是动态的，又或者在浏览器中查看页面相应的内容、当在查看页面源代码时找不到该内容时就可以确定该页面使用了动态技术。如果网页使用了动态技术，可以采用上文介绍的方法处理。
