盤(pán)點(diǎn)：關(guān)于ROBOTS協(xié)議的六大事件

首先再解釋下ROBOTS協(xié)議，所謂ROBOTS協(xié)議就是可以讓站長(zhǎng)通過(guò)設(shè)置，讓網(wǎng)站的內(nèi)容不出現(xiàn)在搜索引擎中，而這君子協(xié)議也只是一種公約，并不構(gòu)成任何法律效力，那么現(xiàn)在我們假設(shè)ROBOTS協(xié)議失效，那些關(guān)于ROBOTS的歷史會(huì)走向怎樣的另一種可能。歷史事件一，F(xiàn)acebook屏蔽谷歌搜索FACEBOOK中的內(nèi)容，只要谷歌想抓取，放到搜索引擎上，從技術(shù)角度來(lái)說(shuō)是沒(méi)有丁點(diǎn)難度的。但是直到今天谷歌都沒(méi)有抓取FACEBOOK中的海量用戶(hù)內(nèi)容，而這些海量的內(nèi)容對(duì)谷歌來(lái)講是巨大的損失。那么假如沒(méi)有robots協(xié)議，谷歌便可以隨意抓取，而facebook根本無(wú)力抵抗，其用戶(hù)生產(chǎn)的UGC內(nèi)容就會(huì)肆意的出現(xiàn)在谷歌的搜索結(jié)果中，而facebook依靠用戶(hù)UGC生成出的內(nèi)容護(hù)城河也將功虧一簣，用戶(hù)要想搜索好友不通過(guò)facebook搜索而是繞過(guò)facebook直接從谷歌所搜就可以，這對(duì)facebook來(lái)說(shuō)就無(wú)法構(gòu)成閉環(huán)，必將損失慘重。歷史事件二，默多克旗下新聞屏蔽谷歌搜索從傳統(tǒng)媒體起家的默多克，對(duì)于搜索引擎的態(tài)度相當(dāng)不友善，默多克曾將雅虎谷歌等搜索引擎都說(shuō)成是”網(wǎng)絡(luò)寄生蟲(chóng)“。當(dāng)然，谷歌的回應(yīng)很簡(jiǎn)單，如果不想讓貴站的內(nèi)容出現(xiàn)在搜索結(jié)果中，請(qǐng)使用robots協(xié)議禁止我們抓取即可。隨后默多克在09年開(kāi)始展開(kāi)計(jì)劃，對(duì)谷歌等搜索引擎展開(kāi)行動(dòng)，對(duì)旗下多家新聞網(wǎng)站屏蔽搜索爬蟲(chóng)。谷歌便不再抓取。那么現(xiàn)在我們假設(shè)沒(méi)有robots協(xié)議的話，谷歌就會(huì)肆無(wú)忌憚的繼續(xù)抓取新聞網(wǎng)站的內(nèi)容，很可能就成為了真正的“寄生蟲(chóng)”，并且還會(huì)與默多克集團(tuán)的官司不斷。好在谷歌遵守了，直接堵住了默多克的嘴，而隨后默多克也無(wú)話可說(shuō)。歷史事件三，淘寶屏蔽百度搜索2008年百度有啊C2C平臺(tái)上線，利用搜索優(yōu)勢(shì)打算與阿里正面競(jìng)爭(zhēng)。淘寶采取對(duì)抗措施，屏蔽百度抓取淘寶內(nèi)容，而百度也無(wú)可奈何，只能望內(nèi)容興嘆。如果沒(méi)有robots協(xié)議的話，那么淘寶就沒(méi)有辦法屏蔽百度，百度就可以依然肆無(wú)忌憚的抓取淘寶的海量?jī)?nèi)容，讓阿里的計(jì)劃全盤(pán)落空，啞巴吃黃連。而好在百度遵守規(guī)則，通過(guò)遵守規(guī)則與阿里競(jìng)爭(zhēng)，哪怕最后百度有啊以失敗告終，也沒(méi)越過(guò)雷池一步。歷史事件四，京東屏蔽一淘京東與阿里想來(lái)水火不容，京東屏蔽支付寶，屏蔽新浪微博登錄，而屏蔽阿里系的一淘搜索自然也在情理之中，是一種正常的商業(yè)競(jìng)爭(zhēng)行為。而一淘失去京東的商品搜索結(jié)果，對(duì)自身?yè)p失也可謂極大。好的，那么假如現(xiàn)在沒(méi)有ROBOTS協(xié)議，阿里也同樣可以毫無(wú)壓力的抓取京東的內(nèi)容，充實(shí)自己的一淘搜索結(jié)果，京東也只能隔空罵阿里流氓并且束手無(wú)策。當(dāng)然，好在大家都是按照規(guī)矩競(jìng)爭(zhēng)，阿里的一淘就算做的再差也沒(méi)有去抓取京東的內(nèi)容。歷史事件五，優(yōu)酷同時(shí)屏蔽百度與谷歌搜索08年末由于優(yōu)酷面臨寬帶運(yùn)營(yíng)的成本壓力，所以在段時(shí)間內(nèi)屏蔽了搜索引擎以減輕自己的服務(wù)器壓力。而如果當(dāng)時(shí)沒(méi)有ROBOTS協(xié)議的話，那么所搜索引擎的抓取將使優(yōu)酷面臨更巨大的成本壓力，難以過(guò)冬，甚至很有可能命懸一線。而ROBOTS協(xié)議，給了優(yōu)酷喘息的機(jī)會(huì)。歷史事件六，QQ空間QQ空間自從誕生以來(lái)就只對(duì)旗下的搜搜開(kāi)放，而對(duì)百度和谷歌等一直是屏蔽措施，我們無(wú)法在百度和谷歌上搜索到QQ空間的大量?jī)?nèi)容。直到2012年，QQ空間才終于將內(nèi)容向其他搜索引擎開(kāi)放。如果沒(méi)有ROBOTS協(xié)議的話，那么從QQ空間誕生之初就是百度谷歌等搜索引擎的囊中之物了，騰訊運(yùn)營(yíng)的再好，內(nèi)容也會(huì)被別人家拿去，而騰訊也無(wú)法對(duì)旗下的搜搜進(jìn)行保護(hù)。結(jié)語(yǔ)：商業(yè)競(jìng)爭(zhēng)從來(lái)都是生死存亡之事，