网页上通过ajax异步加载的数据有什么办法抓取到吗？

如题所述

推荐答案 2016-02-05

温馨提示：答案为网友推荐，仅供参考

当前网址：http://66.wendadaohang.com/zd/xD22pixDs22xsxnDvn.html

其他回答

第1个回答 2015-09-19

很多方案：selenium，phantomjs，casperjs，qtwebkit等。
一般采用的是casperjs。把每个ajax请求完成后保存网页，放入队列，这样的话后面的分析程序就只要分析html就好了。
casperjs这货和nodejs一起使用的时候时不时会有点小问题，如果不想麻烦，npm安装spookyjs，可以把casperjs作为node的模块来使用了。
当然，请求不复杂，无需验证的话，直接观察请求就可以了。本回答被网友采纳

相似回答

网页上通过ajax异步加载的数据有什么办法抓取到吗?答：1、可以通过浏览器的调试功能，例如Firefox按F12，点网络标签，然后就可以看到网页的所有数据信息，网页通过AJAX异步加载的数据也可以得到。2、使用抓包类的工具，如SmartSniff，经过分析也可以得到数据也可以得到数据

C# 怎么读取到ajax异步过来的json的数据呢?答：如果你的Ajax提交过去的是get方式，在那个页面就用 Request.QueryString["参数名"]如果是post方式,使用Request.Form[“参数名”] 获取数据 这个页面返回JSON数据：//C# 将对象转换为JSON字符串 //先引用dll System.Web.Extensions using System.Web.Script.Serialization;JavaScriptSerializer ser = new Java...

ajax异步请求的数据怎么才能让搜索引擎的蜘蛛抓取到?答：首先百度是没有什么办法的，因为百度技术规范明确提到无法识别ajax，他可以作为交互体验中用到，但是要全部应用到整个网站，是非常不友好的。可以考虑能不能实现二次转码，实现伪静态结构

怎么爬取新浪微博当前页面的内容答：你可以通过代码模拟这个请求来获取数据。但是这种办法比较老土，也很麻烦需要你研究js代码的逻辑，你如果不会写代码就比较麻烦。当然有一些fiddler之类的网页通信抓包分析工具可以帮你一些忙。2. 使用现在比较主流的智能采集软件如八爪鱼，需要支持浏览器和可视化采集，这样软件会自动模拟人的操作完成所有工作，...

java如何获取含ajax的网页数据答：其实任何网页的数据都是由请求-响应组成的，谷歌或者火狐开了F12 选择网络，点击那个更多按钮，你就可以获取到他访问的连接，后面不论普通的 httpclient 还是jsoup 都可以获取到response内容了，个人感觉这样的返回json的可能性很大，你先试试浏览器工具吧 ...

c# 网页数据抓取 ajax答：用 Google Chrome、360急速等 chrome 内核的浏览器打开网页按 F12 打开调试模式点击进入 Network 标签刷新网页 Network里就会出现很多和服务器的交互，ajax交互都会出现在里面是这个么？

大家正在搜

python爬取ajax异步加载 ajax异步加载 ajax异步加载图片什么是异步加载 ajax同步和异步的区别 js异步加载php函数 ajax页面抓取 ajax动态加载html页面网站ajax加载视频