页面嵌套的iframe, 会处理UA,对搜索引擎让他去爬取iframe页面中的内容。
现在要在本地测试一下搜索引擎的爬取效果，有什么方法可以模拟吗？
现在实现的思路是：
用php或者python写一个指定UA的爬虫爬我的页面。不知道爬的结果和搜索引擎是否一样？
或者有没有比较好的工具或方法直接得到这个结果。
个人理解，应该是一样的，搜索引擎只是将页面爬取下来，然后再去分析。
This topic created in 4030 days ago, the information mentioned may be changed or developed.
 |
1
mrytsr Jul 31, 2015 via Android
nginx.cnf
|
Select Language