66问答网
所有问题
httpClient怎么获取网页中js执行完后的网页源码
如题所述
举报该问题
推荐答案 推荐于2018-03-09
我做过爬虫,对这个比较了解,如果网页源码中有些内容是js渲染过来的,那你通过HttpClient直接取肯定取不到,但是这些数据一般都是通过异步请求传过来的(一般都是通过ajax的get或者post方式)。那么你可以通过火狐浏览器的firebug或者chrome的审查元素,在网络选项中找到这个请求地址,再用HttpClient请求一次就可以拿到你想要的数据,但这些数据可能不是网页源码,一般都是json字符串。
温馨提示:答案为网友推荐,仅供参考
当前网址:
http://66.wendadaohang.com/zd/nUUxDvnxDvpi2DU222x.html
相似回答
用htmlunit
怎么
去
获取
一个有
JS
加载
的网页
信息
答:
有两种方式供选择我推荐第一种,
一:去阅读相关的网页里的js和网页请求之后的header,通过hander知道这个获取这个信息的接口
。通过httpclient来获知你想要的信息。二:通过htmlunit框架提供的方法:JavascriptExecutor jsExecutor = (JavascriptExecutor) driver;jsExecutor.executeScript("LoginSubmit();", "")...
如何
抓取
js
动态生成
的网页
答:
可以考虑用phanton
js
或者它的衍生物casperjs以及spookyjs。phontonjs是个无界面的浏览器,通过js代码来控制浏览器的浏览行为。casper在它上面封装了很多好用的API,很方便的实现点击、等待某元素出现等动作。spookyjs则是相当于nodejs版的casperjs,有了nodejs支持,你就很容易把抓到的内容写文件、数据等...
如何
用javascript 读取另一个
页面中
内容
答:
最后一招:可以在你得到的html字符串中增加相关的脚本,然后组合成新的html字符串
。然后把这个新的html丢给浏览器解析。理论上,是可以做得到解析任何的网页的。
java爬虫
怎么
动态的
获取
html
答:
很多网站是用
js
或Jquery 生成数据的,到后台
获取
到数据以后,用 document.write()或者("#id").html="" 的方式 写到
页面中
,这个时候用浏览器查看
源码
是看不到数据的。
HttpClient
是不行的,看网上说HtmlUnit,说 可以获取后台js加载
完后的
完整页面 不过并没什么用 ...
httpclient获取
动态绑定
执行完毕后的
界面的问题
答:
那得分析
JS了
,动态绑定,也可以是动态的资源了。。。
求教大神关于java
获取网页源码
的问题 大神速来
答:
无论你是想抓取网页数据还是改造html的内容,用了htmlparser绝对会忍不住称赞。jsoup也是。Java 程序在解析HTML 文档时,相信大家都接触过htmlparser 这个开源项目,我曾经在IBM DW 上发表过两篇关于htmlparser 的文章,分别是:从HTML中攫取你所需的信息 和扩展HTMLParser 对自定义标签的处理能力。但现在...
大家正在搜
js获取网页源码
网页的js怎么改
网页js是什么
网页js代码
autojs源码
html模板源码
js源码大全
js游戏源码
node.js是前端还是后端
相关问题
java如何获取带有css js 执行完后的网页源代码
如何获取JS执行过后的网页源代码
爬虫如何获取执行完js后的html源文件
怎么抓取js执行后的页面
怎么获取网页执行完所有js后的源码
c#如何获取网页执行js后的完整源代码?
httpclient中怎么使用post方法获取html的源码