• 所有问题

    • ajax异步请求的数据怎么才能让搜索引擎的蜘蛛抓取到？

    网站是以前后端分离的方式写的，后台用的是java，服务器是apache，网站里的所有信息都是通过ajax异步加载完成的，请问如何才能让这些数据被搜索引擎的蜘蛛抓取？

    举报该问题
    其他回答
    第1个回答  2018-07-11
    首先百度是没有什么办法的，因为百度技术规范明确提到无法识别ajax，他可以作为交互体验中用到，但是要全部应用到整个网站，是非常不友好的。可以考虑能不能实现二次转码，实现伪静态结构
    相似回答
    如何实现ajax页面的搜索引擎爬虫抓取答：通过ajax实现的页面搜索引擎蜘蛛爬虫是不会抓取的，这点在百度搜索引擎官方指南2.0中已经有明确提过：Ajax等搜索引擎不能识别的技术，只用在需要用户交互的地方，不把希望搜索引擎"看"到的导航及正文内容放到Ajax中。所以必须在页面设置的时候，考虑把需要爬虫抓取的内容放到ajax之外。
    ...页面的网站(通过ajax访问数据)是很cool,搜索引擎收录不到不还是等于...答：被搜录的是关键字，只要你的静态页面里包含一些关键字就可以了。 跟你动态通过ajax取回的数据没关系。网上很多静态页面是预先就发布好的。里面所有内容都是静态的，包含的文本内容可以直接被搜索引擎搜索到。比如新浪，163，他们的栏目文章都是通过后台的新闻发布系统发布成静态html页面的。
    用ajax无刷新数据加载,但页面多是js代码,不利于蜘蛛的抓取。改用action...答：估计你是分页需求，那么做一套分页的伪静态页，再做一套ajax的接口，后台就一套文件，根据请求参数不同吐不同的格式 不过这样只能解决被抓到，不能解决pr值。鱼和熊掌不能兼得啦 要么就都页面跳，但做好缓存，避免大量计算
    网站爬取数据是如何实现的?答：那么通过浏览器插件接口可以抓取到这些数据了。有的公司是这么做的。3、做一个客户端，在客户端里模拟一个浏览器，模拟用户搜索，还是那句话，淘宝无论如何增强反爬虫技术，终总是要在浏览器里按照正常的数据格式显示出来的，现在很多的刷流量的工具是这么做的。4、通过一些网页分析工具，分析淘宝网页...
    seo里搜索引擎会执行js或ajax然后收录里面的内容吗?答：不会，SEO不收录js或ajax，因为有的用这个做FLASH,蜘蛛很难抓爬的。
    java爬虫怎么抓取js动态生成的内容答：但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。1、有些页面元素被隐藏起来了->换selector解决 2、有些数据保存在js/json对象中->截取对应的串，分析解决 3、通过api接口调用->伪造请求获得数据 还有一个终极方法 4、使用phantomjs或者casperjs这种headless浏览器 ...
    大家正在搜
    谷歌搜索引擎怎么才能用为什么不能用谷歌的搜索引擎谷歌搜索引擎搜索技巧怎么使用谷歌搜索引擎搜狗搜索引擎谷歌的搜索引擎网址知识搜索引擎国外搜索引擎百度云搜索引擎入口
    相关问题
    如何实现ajax页面的搜索引擎爬虫抓取
    如何让搜索引擎抓取AJAX内容
    如何让网站内容快速被百度蜘蛛抓取收录
    用ajax无刷新数据加载，但页面多是js代码，不利于蜘蛛的抓...
    网页上通过ajax异步加载的数据有什么办法抓取到吗？
    如何让搜索引擎抓取AJAX内容
    如何抓取ajax请求异步返回的数据
    搜索引擎蜘蛛抓取不到网页内容是怎么回事？