‘壹’ seo问题，新站优化，快照显示两年前，文章不收录，怎么解决百度搜索联邦精密机械
先解决网站程序代码，用站长工具把站内的问题找出来解决掉，做好内链，网站结构。做好这些站内的优化之后才开始发布徐原创性可读性相关性较高的内容，接着就是拉蜘蛛做外链。左右友情链接，友情链接要把握好。这样坚持一段时间肯定会好起来的。
‘贰’ 如何用python写爬虫来获取网页中所有的文章以及关键词
所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。
类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。
在Python中，我们使用urllib2这个组件来抓取网页。
urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。
它以urlopen函数的形式提供了一个非常简单的接口。
最简单的urllib2的应用代码只需要四行。
我们新建一个文件urllib2_test01.py来感受一下urllib2的作用：
import urllib2
response = urllib2.urlopen('http://www..com/')
html = response.read()
print html
按下F5可以看到运行的结果：
我们可以打开网络主页，右击，选择查看源代码（火狐OR谷歌浏览器均可），会发现也是完全一样的内容。
也就是说，上面这四行代码将我们访问网络时浏览器收到的代码们全部打印了出来。
这就是一个最简单的urllib2的例子。
除了"http:"，URL同样可以使用"ftp:"，"file:"等等来替代。
HTTP是基于请求和应答机制的：
客户端提出请求，服务端提供应答。
urllib2用一个Request对象来映射你提出的HTTP请求。
在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，
通过调用urlopen并传入Request对象，将返回一个相关请求response对象，
这个应答对象如同一个文件对象，所以你可以在Response中调用.read()。
我们新建一个文件urllib2_test02.py来感受一下：
import urllib2
req = urllib2.Request('http://www..com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page
可以看到输出的内容和test01是一样的。
urllib2使用相同的接口处理所有的URL头。例如你可以像下面那样创建一个ftp请求。
req = urllib2.Request('ftp://example.com/')
在HTTP请求时，允许你做额外的两件事。
1.发送data表单数据
这个内容相信做过Web端的都不会陌生，
有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本，或其他WEB应用程序挂接)。
在HTTP中,这个经常使用熟知的POST请求发送。
这个通常在你提交一个HTML表单时由你的浏览器来做。
并不是所有的POSTs都来源于表单，你能够使用POST提交任意的数据到你自己的程序。
一般的HTML表单，data需要编码成标准形式。然后做为data参数传到Request对象。
编码工作使用urllib的函数而非urllib2。
我们新建一个文件urllib2_test03.py来感受一下：
import urllib
import urllib2
url = 'http://www.someserver.com/register.cgi'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
data = urllib.urlencode(values) # 编码工作
req = urllib2.Request(url, data) # 发送请求同时传data表单
response = urllib2.urlopen(req) #接受反馈的信息
the_page = response.read() #读取反馈的内容
如果没有传送data参数，urllib2使用GET方式的请求。
GET和POST请求的不同之处是POST请求通常有"副作用"，
它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。
Data同样可以通过在Get请求的URL本身上面编码来传送。
import urllib2
import urllib
data = {}
data['name'] = 'WHY'
data['location'] = 'SDU'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
print url_values
name=Somebody+Here&language=Python&location=Northampton
url = 'http://www.example.com/example.cgi'
full_url = url + '?' + url_values
data = urllib2.open(full_url)
这样就实现了Data数据的Get传送。
2.设置Headers到http请求
有一些站点不喜欢被程序（非人为访问）访问，或者发送不同版本的内容到不同的浏览器。
默认的urllib2把自己作为“Python-urllib/x.y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7)，
这个身份可能会让站点迷惑，或者干脆不工作。
浏览器确认自己身份是通过User-Agent头，当你创建了一个请求对象，你可以给他一个包含头数据的字典。
下面的例子发送跟上面一样的内容，但把自身模拟成Internet Explorer。
（多谢大家的提醒，现在这个Demo已经不可用了，不过原理还是那样的）。
import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()
以上就是python利用urllib2通过指定的URL抓取网页内容的全部内容，非常简单吧，希望对大家能有所帮助。
‘叁’ 网站后台管理系统发表文章，不能发表文章怎么回事
有可能是你网站后台有问题，也有可能网站被攻击了导致某个程序文件损坏或丢失了
‘肆’ 百度蜘蛛是什么，常见百度爬虫有那些问题
简单理解，网络蜘蛛又名网络爬虫，主要的工作职能是抓取互联网上现有的URL，并对页面质量进行评估，给出基础性的判断。
通常网络蜘蛛抓取规则是：
种子URL->待抓取页面->提取URL->过滤重复URL->解析网页链接特征->进入链接总库->等待提取。
1、如何识别网络蜘蛛
快速识别网络蜘蛛的方式有两种：
① 网站<a href=网址>蜘蛛日志分析，可以通过识别网络蜘蛛UA，来判断蜘蛛来访记录，相对便捷的方式是利用<a href=网址>SEO软件</a>去自动识别。关于网络UA的识别，你也可以查看官方文档：<a href=网址
② CMS程序插件，自动嵌入识别网络爬虫，当蜘蛛来访的时候，它会记录相关访问轨迹。
2、网络蜘蛛收录网站规则有那些?
并不是每一个网站的蜘蛛来爬寻抓取就会被收录的，这样就会形成一个搜索引擎主要流程，这个流程主要分为，抓取、筛选、对比、索引最后就是释放，也技术展现出来的页面。
抓取：爬虫是根据网站URL连接来爬寻的，它的主要目的是抓取网站上所以文字连接，一层一层有规则的爬寻。
筛选：当抓取完成后，筛选这个步骤主要是筛选出垃圾文章，比如翻译、近义词替换、伪原创文章等，搜索引擎都能够识别出来，而是通过这一步骤识别。
对比：对比主要是实行网络的星火计划，保持文章的原创度。通常情况下，经过对比的步骤的时候，搜索引擎会对你站点进行下载，一来对比，二来创建快照，所以搜索引擎蜘蛛已经访问你的网站，所以网站日志中会有网络的IP。
索引：通过确定你网站没有问题的时候，才会对你网站创建索引，如果创建索引了，这也说明你的站点被收录了，有时候我们在网络搜索还是不出来，可能原因是还没有被释放出来，需要等待。
3、关于网络爬虫一些常见问题：
① 如何提高网络抓取频率，抓取频率暴涨是什么原因
早期，由于收录相对困难，大家非常重视网络抓取频率，但随着网络战略方向的调整，从目前来看，我们并不需要刻意追求抓取频率的提升，当然影响抓取频次的因素主要包括：网站速度、安全性、内容质量、社会影响力等内容。
如果你发现站点抓取频率突然暴涨，可能是因为：存在链接陷阱，蜘蛛不能很好抓取页面，或者内容质量过低，需要从新抓取，也可能是网站不稳定，遭遇负面SEO攻击。
② 如何判断，网络蜘蛛是否正常抓取
很多站长新站上线，总是所发布的文章不收录，于是担心网络爬虫是否可以正常抓取，这里官方提供两个简单的工具：
网络抓取诊断：
网络Robots.txt检测：
你可以根据这两个页面，检测网页的连通性，以及是否屏蔽了网络蜘蛛抓取。
③ 网络爬虫持续抓取，为什么网络快照不更新
快照长时间不更新并没有代表任何问题，你只需要关注是否网站流量突然下降，如果各方面指标都正常，蜘蛛频繁来访，只能代表你的页面质量较高，外部链接非常理想。
④ 网站防止侵权，禁止右键，网络蜘蛛是否可以识别内容
如果你在查看网页源代码的时候，可以很好的看到页面内容，理论上网络蜘蛛就是可以正常抓取页面的，这个你同样可以利用网络抓取诊断去解析一下看看。
⑤ 网络蜘蛛，真的有降权蜘蛛吗？
早期，很多SEO人员喜欢分析网络蜘蛛IP段，实际上官方已经明确表示，并没有说明哪些蜘蛛的爬行代表降权，所以这个问题不攻自破。
⑥屏蔽网络蜘蛛,还会收录吗？
常规来说屏蔽网络蜘蛛是没办法收录，虽然会收录首页，但是内页却不能收录的，就好比“淘宝”基本上都是屏蔽了网络蜘蛛，只有首页但是依然排名很好。
总结：很多市面上就会出现一个蜘蛛池这样的字眼呈现，这是一种并不好的一种变现的方式，搜外seo并不建议大家使用，上述仅供大家参考。
‘伍’ 如果爬取一个小说网站以后，如何做到更新内容的爬取并且存储
有一个标记库，记录的目标小说网站目标小说的最新文章id，一般url最后一段数字或者页面的html里面包含。
定时去读取这个最新文章页面，如果当前这个页面是最新的文章，没有更新，那么网页上的下一章那个连接是#(也就是页面本身)，有的是跳转到本小说的章节目录，根据情况判断，如果小说更新了，下一章的按钮连接就变话了，根据下一章的id去读取，并更新数据库的标记
‘陆’ 爬虫爬出来的文章有版权问题吗
没有，因为爬虫只搜索、展示和索引的作用，就好像你把某本书推荐给别人一样不会触犯版权。但是如果爬虫将爬出来的文章未经允许转载出来，就比如你未经允许把某本书整本复印下来卖给了别人一样，是侵犯版权的。
【请采纳】
‘柒’ 怎么让爬虫智能的爬取网页的文章内容
将网页page source 保存到数据库（mongodb）中，每次取得新的page source 和数据库中的page source 的hash 值是不是想等，如果不等表示有更新。 这个判断有了，爬虫爬取时间策略就好办了。 自己动手实现吧。
‘捌’ 网站后台没有发表文章的部分，怎么做seo优化
1）、关键词分析（也叫关键词定位）：这是进行SEO优化最重要的一环，关键词分析包括：关键词关注量分析、竞争对手分析、关键词与网站相关性分析、关键词布置、关键词排名预测。
2）、网站架构分析：网站结构符合搜索引擎的爬虫喜好则有利于SEO优化。网站架构分析包括：剔除网站架构不良设计、实现树状目录结构、网站导航与链接优化，网站设计的语言最好采好DIV+CSS样式，代码很有层次和简洁。
3）、与搜索引擎对话：向各大搜索引擎登陆入口提交尚未收录站点。在搜索引擎看SEO的效果，通过site:你的域名，知道站点的收录和更新情况。通过 domain:你的域名或者link:你的域名，知道站点的反向链接情况。更好的实现与搜索引擎对话，建议采用Google网站管理员工具。
4）、网站目录和页面优化：SEO不止是让网站首页在搜索引擎有好的排名，更重要的是让网站的每个页面都带来流量，长尾关键词采用内页优化。
5）、内容发布和链接布置：搜索引擎喜欢有规律的网站内容更新，所以合理安排网站内容发布日程，每天更新的时间段，是SEO优化的重要技巧之一。链接布置则把整个网站有机地串联起来，让搜索引擎明白每个网页的重要性和关键词，实施的参考是第一点的关键词布置。友情链接和站外链链的战役也是这个时候展开。
6）、高质量的友情链接：建立高质量的友情链接，对于SEO优化来说，可以提高网站PR值以及网站的更新率，都是非常关键性的问题。
7）、建立网站地图SiteMap：根据自己的网站结构，制作网站地图，让你的网站对搜索引擎更加友好化。让搜索引擎能过SiteMap就可以访问整个站点上的所有网页和栏目。
8）、网站流量分析：网站流量分析从SEO结果上指导下一步的SEO策略，同时对网站的用户体验优化也有指导意义。
‘玖’ 网站长期更新文章，但是一直不收录，请问是什么原因
首先我们要检查一下网站内容的质量，这些内容是不是原创的？是不是与自己设置的关键词密相关的？只有高质量的内容保持每天更新的频率，才会被搜索引擎快速的收入，第二个，我们在站外一定要进行网站的推广，因为只有大量有全中的外链展会吸引搜索引擎爬虫来到自己的网站，第三个我们要检查一下网站的程序，程序是不是和你有没有屏蔽搜索引擎爬虫的设置？我们，要简化自己的网站程序，让搜索引擎可以快速的在各个网页之间进行抓取。最后我们的网站可能已经被搜索引擎收录了，但是他没有展现出来，只要我们更有耐心一点，你就会发现大量的网页出现在搜索引擎的索引页面当中
‘拾’ 如何使用爬虫做一个网站
做法：传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。