网络营销知识仓库-第41部分
按键盘上方向键 ← 或 → 可快速上下翻页，按键盘上的 Enter 键可回到本书目录页，按键盘上方向键 ↑ 可回到本页顶部！
————未阅读完？加入书签已便下次继续阅读！
例中的WebCrawler ） User…agent： WebCrawler Disallow： User…agent： * Disallow： / F。常见搜索引擎机器人Robots 名字 表 6…8…1常见搜索引擎机器人 Robots 名字 名 称 搜 索 引 擎BaiduspiderbaiduScooteraltavistaia_archiveralexaGooglebotgoogleFAST…WebCrawlerallthewebSlurpinktomiMSNBOT search。msn4、robots。txt 举例 下面是一些著名站点的robots。txt： cnn/robots。txt google/robots。txt ibm/robots。txt sun/robots。txt eachnet/robots。txt 5、常见robots。txt 错误 A。颠倒了顺序 错误写成： User…agent： * Disallow： GoogleBot 正确的应该是： User…agent： GoogleBot Disallow： * B。把多个禁止命令放在一行中例如错误写成： Disallow： /css/ /cgi…bin/ /images/ 正确的应该是： Disallow： /css/ Disallow： /cgi…bin/ Disallow： /images/ C。行前有大量空格 例如写成： Disallow： /cgi…bin/ 尽管在标准没有谈到这个，但是这种方式很容易出问题。 D。 404 重定向到另外一个页面 当Robot 访问很多没有设置 robots。txt 文件的站点时，会被自动 404 重定向到另外 一个Html 页面。这时Robot 常常会以处理robots。txt 文件的方式处理这个Html 页面文 件。虽然一般这样没有什么问题，但是最好能放一个空白的 robots。txt文件在站点根目录下。 E。采用大写。例如 USER…AGENT： EXCITE DISALLOW： 虽然标准是没有大小写的，但是目录和文件名应该小写： user…agent：GoogleBot disallow： F。 语法中只有Disallow，没有Allow 错误的写法是： User…agent： Baiduspider Disallow： /john/ allow： /jane/ G。忘记了斜杠/ 错误写作： User…agent： Baiduspider Disallow： css 正确的应该是： User…agent： Baiduspider Disallow： /css/ 下面一个小工具专门检查 robots。txt 文件的有效性： searchengineworld/cgi…bin/robotcheck。cgi五、链接锚文本 什么是链接锚文本？举个例子解释说明一下：诸如，有一个网站做了个点石的友情链接，其具体代码表现为 a href= dunsh 点石互动 /a ，其中“点石互动”即为该链接的锚文本。 1、链接锚文本（Anchor Text）描述在SEO 中有什么作用？ 搜索引擎可以根据指向某一个网页链接的锚文本描述来判断该网页的内容属性，点石是一个搜索引擎优化研究团队，所以有很多指向点石的链接锚文本描述为“搜索引擎优化”， 这样会让搜索引擎根据属性投票来给点石在搜索引擎优化的自然排名方面有一个考虑，尤其 是这样的反向链接的质量和数量上升到一定层次时，这种排名优势也就越明显。 很多网站的锚文本的形式诸如以下形式：more、更多、阅读详细信息、点击这里等，这样的做法没办法让搜索引擎对某一个被链接的网页内容属性有一个好的判断，从而影响网页排名。 2、链接锚文本（Anchor Text）的优化 每个页面的内容都不同，因此我们在进行关键词策略部署的时候，就应该针对某一个目标页面有一个关键词考虑。一般来说一个页面的核心关键词在 1…3 个范围（范围太大，关键词的权重就有可能被稀释），所以我们一般在其他页面做指向该页面的链接的锚文本描述中就应该布置预先规划的核心关键词，而且锚文本描述的形式应尽量多样化。六、Sitemap。xml Sitemaps协议使你能够告知搜索引擎网站中可供抓取的网址。最简便的方式就是，使用Sitemaps协议的Sitemaps就是列有某个网站所有网址的XML文件。此协议可高度扩展，因此可适用于各种大小的网站。它还能够使网站管理员提供有关每个网址的其他信息（上次更新的时间、更改的频率、与网站中其他网址相比它的重要性等），以便搜索引擎可以更智能地抓取该网站。 Sitemaps协议补充而不是取代搜索引擎已用来发现网址的基于抓取的机制。通过向搜索引擎提交一个Sitemaps（或多个 Sitemaps ），可帮助搜索引擎更好地抓取你的网站。1、XML Sitemaps 语法格式 Sitemaps协议格式由XML 标记组成，Sitemaps的所有数据数值应为实体转义过的，文件本身应为UTF…8 编码的。 以下是只包含一个网址并使用所有可选标记的Sitemaps示例。可选标记为斜体。 ？xml version= 1。0 encoding= UTF…8 ？ urlset xmlns= google/schemas/sitemap/0。84 url loc example/ /loc lastmod 2005…01…01 /lastmod changefreq monthly /changefreq priority 0。8 /priority /url /urlset Sitemaps应： 一个网页的默认优先级为0。5。 请注意，你为页面指定的优先级不影响你的网址在搜索引擎的结果页的排名。搜索引擎在同一网站的不同网址之间进行选择时使用此信息，因此，你可以使用此标记来增加相对重要的网址在搜索索引中显示的可能性。而且，请注意为你网站中的所有网址都指定高优先级对你没什么好处。由于优先级是相互关联的，只用于在你自己网站的网页之间进行选择；你网页的优先级不会与其他网站的页面优先级进行比较。3、实体转义 Sitemaps文件为UTF…8编码（通常在保存文件时可以做到）。对于所有的XML 文件，任何数据数值（包括网址）都应对下表中列出的字符使用实体转义码。 表 6…8…3 实体转义 字符转 义 码 &符号 &&； 单引号 '；&apos； 双引号 大于 小于 此外，所有的网址（包括 Sitemaps 的网址）都应编码，以便它们所在的，以及网址转义的Web服务器识别。然而，如果使用任何脚本、工具或日志文件来生成网址（除了手动输入之外的任何方法），通常这部分已经替你完成了。如果提交了Sitemaps 却收到Google 无法找到某些网址的错误消息，请查看并确保你的网址遵循RFC…3986 URI 标准、RFC…3987IRI标准以及XML标准。 这是使用非ASCII 字符（ü ）以及要求实体转义的字符（&）的网址示例： example/ümlat。html&q=name 这是ISO…8859…1编码的（用于使用该编码的服务器上的托管）以及网址转义过的同一网址example/％FCmlat。html&q=name 这是UTF…8编码（用于使用该编码的服务器上的托管）且网址转义过的同一网址： example/％C3％BCmlat。html&q=name 这是实体转义过的同一网址： example/％C3％BCmlat。html&；q=name 4、XML Sitemaps 示例 下例显示了一个XML格式的Sitemaps 。示例中的Sitemaps包含少数网址，每一个都用 loc XML 标记来识别。此示例中，为每个网址提供了一组不同的可选参数。 ？xml version= 1。0 encoding= UTF…8 ？ urlset xmlns= google/schemas/sitemap/0。84 url loc example/ /loc lastmod 2005…01…01 /lastmod changefreq monthly /changefreq priority 0。8 /priority /url url loc example/catalog？item=12&；desc=vacation_hawaii /loc changefreq weekly /changefreq /url url loc example/catalog？item=73&；desc=vacation_new_zealand /loc lastmod 2004…12…23 /lastmod changefreq weekly /changefreq /url url loc example/catalog？item=74&；desc=vacation_newfoundland /loc lastmod 2004…12…23T18：00：15＋00：00 /lastmod priority 0。3 /priority /url url loc example/catalog？item=83&；desc=vacation_usa /loc lastmod 2004…11…23 /lastmod /url /urlset 你可以使用gzip 压缩 Sitemaps 文件。压缩 Sitemaps 文件会降低对带宽的要求。请注意，未压缩的Sitemaps 文件不得大于10MB 。5、使用 Sitemaps 索引文件（对多个 Sitemaps 文件进行分组） 你可以提供多个Sitemaps 文件，但提供的每个Sitemaps文件包括的网址不得超过50，000个，并且未压缩时不能大于10MB（10，485，760）。这些限制条件有助于确保Web服务器不会因传输非常大的文件而遇到麻烦。 如果要列出超过50，000 个网址，你需要创建多个Sitemaps 文件。如果预计你的Sitemaps 网址数量会超过50，000个或大小超过10MB，应考虑创建多个Sitemaps 文件。 如果你的确提供了多个 Sitemaps，你可以将其列在Sitemaps 索引文件中。Sitemaps 索引文件只能列出不超过1，000 个 Sitemaps。 Sitemaps索引文件的XML 格式与Sitemaps 文件的XML格式非常相似。Sitemaps索引文件使用以下XML 标记： example/catalog/sitemap。gz 中，被认为有效的示例网址包括： example/catalog/show？item=23 example/catalog/show？item=233&user=3453 example/catalog/sitemap。gz 中被认为无效的网址包括： example/image/show？item=23 example/image/show？item=233&user=3453 https：//example/catalog/page1。html 被认定为无效的网址将不再考虑。强烈建议将 Sitemaps 放置在Web 服务器的根目录处。例如，如果Web 服务器位于example，则Sitemaps 索引文件应位于 example/sitemap。gz 。在某些情况下，你需要针对不同的路径创建对应的Sitemaps， 例如，如果在你的组织中，安全许可对应不同目录划分上传权限。8、验证你的SitemapsGoogle使用XML架构定义可以出现在Sitemaps文件中的元素和属性。你可从以下链接下载此架构： 对于 Sitemaps： google/schemas/sitemap/0。84/sitemap。xsd 对于 Sitemaps索引文件：google/schemas/sitemap/0。84/siteindex。xsd 有多种工具可帮助你根据此架构来验证你的 Sitemaps结构。在下面的每一个位置 你都可以找到XML相关的工具列表： w3/XML/Schema#Tools xml/pub/a/2000/12/13/schematools。html 为了根据某个架构验证你的Sitemaps 或 Sitemaps 索引文件，XML文件需要有附加的标头。如果你使用的是Sitemaps生成器，这些标头已经包含其中。如果你使用不同的工具创建Sitemaps，XML文件中的标头应如下例所示。 Sitemaps： ？xml version='；1。0'； encoding='；UTF…8'；？ urlset xmlns= google/schemas/sitemap/0。84 xmlns：xsi= w3/2001/XMLSchema…instance xsi：schemaLocation= google/schemas/sitemap/0。84 google/schemas/sitemap/0。84/sitemap。xsd url /url /urlset Sitemaps索引文件： ？xml version='；1。0'； encoding='；UTF…8'；？ sitemapindex xmlns= google/schemas/sitemap/0。84 xmlns：xsi= w3/2001/XMLSchema…instance xsi：schemaLocation= google/schemas/sitemap/0。84 google/schemas/sitemap/0。84/siteindex。xsd sitemap /sitemap /sitemapindex 9、Google sitemaps Builder V1。5 使用教程 这是一款由国外编程人员开发的Google Sitemap 制作软件，通过该软件那些不懂XML 语法的人也很容易制作出xml 版本的Google Sitemap 和纯文本链接地址。 该软件可运行于Windows 2000 / XP / 2003 平台，必须在 Framework 1。1 环境下安装，如果你的电脑没有安装 Framework 1。1，你可以到微软官方网站上下载（microsoft/downloads/details。aspx？FamilyID=262D25E3…F589…4842…8157…034 D1E7CF3A3&displaylang=zh…cn； ）。 Google sitemaps Builder V1。5软件可以到下面的网站地址下载： timev/download/google…sitemaps…builder。html Google sitemaps Builder 软件的安装相当容易，这里就不做介绍了。接下来，主要来讲 解一下 Google sitemaps Builder 的使用方法。 安装完Google sitemaps Builder 软件后，点击任务栏里的“开始”，从“所有程序”里找到“Sitemaps Builder ”，运行该程序。当然，安装完Google sitemaps Builder 软件后，电脑的桌面会有其快捷方式，直接点击它可快速运行该软件。 然后点击“Extract Links”按钮，软件就会派出其机器人去目标网站上进行爬行，从而 捕获目标网站的链接信息。如果你要停止该软件的机器人爬行，可以点击“Cancel”按钮。 等Google sitemaps Builder 的机器人爬行完整个站点后，我们就可以轻松获取Google sitemap 文件了。 在软件界面中点击“Map File”，然后会出现下面的界面： 当我们点击“File Options”部分的“Generate Google XML Map”按钮，我们就可以在 左侧窗口获得目标查询站点的网站地图XML 源代码。我们可以用记事本创建一个文件 sitemap。xml，然后将获得的XML 源代码拷贝到xml 文件中然后保存，这样我们就得到了一个Google sitemap 文件了。 点击“Generate TXT Map”按钮，我们可以获得网站的所有网页地址，我们可以把这些网页地址制作成HTML 文件格式的网站地图。 这款软件还有一个值得提出的功能，就是它可能帮助我们检查网站是否存在死链接。具体链接检查情况，我们可以点击软件界面上的“Stats”按钮来了解。如果你想了解你的网站上哪些URL 不可访问，可以点击“URLs with erros”按钮来查看。 接下来，你只需要向 Google 提交的制作好的 sitemap 文件了。七、版权与隐私 国外的网站大部分都有版权和隐私保护的说明页面，而在国内大部分网站却很少见这样的说明页面。对版权和对用户隐私尊重的网站才可以获得用户的信任。 第九节 用户友好性检测 我们一般通过三个指标来检验一个网站是否对于用户友好，这三个指标分别是：链接的可用性、访问速度体验和查找信息的便捷度。一、链接的可用性 试想，一个访问者来到你的网站，点
