Robots協(xié)議，不是誰家的后花園自留地

百度與360公司爬蟲機(jī)器人不正當(dāng)競(jìng)爭(zhēng)糾紛案，又被稱為Robots協(xié)議案，是中國搜索領(lǐng)域爬蟲機(jī)器人競(jìng)爭(zhēng)第一案，關(guān)系著互聯(lián)網(wǎng)行業(yè)尤其是搜索引擎的基本游戲規(guī)則而廣泛被業(yè)界、政府和網(wǎng)民關(guān)注。2014年8月7日，北京市第一中級(jí)人民法院駁回了百度有關(guān)不正當(dāng)競(jìng)爭(zhēng)的訴求，表明百度單方面利用歧視性Robots協(xié)議打擊競(jìng)爭(zhēng)對(duì)手的行為不會(huì)被公眾和法庭所支持，而360則可以繼續(xù)抓取百度的網(wǎng)站內(nèi)容。（8月8日《法制日?qǐng)?bào)》）

剖析中國搜索領(lǐng)域爬蟲機(jī)器人競(jìng)爭(zhēng)第一案孰是孰非，我們需客觀了解搜索引擎與Robots協(xié)議。搜索引擎在對(duì)信息進(jìn)行組織和處理后，將用戶檢索相關(guān)的信息展示給互聯(lián)網(wǎng)用戶的系統(tǒng)。網(wǎng)絡(luò)搜索工作原理包括爬行、抓取存儲(chǔ)、預(yù)處理、排名等程序步驟，而搜索引擎所依據(jù)的根本規(guī)則即互聯(lián)網(wǎng)Robots協(xié)議，也稱為爬蟲協(xié)議、機(jī)器人協(xié)議、“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”，各網(wǎng)站運(yùn)營商通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

Robots協(xié)議是基于互聯(lián)網(wǎng)公開、公平、保護(hù)網(wǎng)站及用戶隱私權(quán)不被侵犯的精神而設(shè)立的。打一個(gè)形象的比喻，這如同我們?nèi)腭v酒店后，酒店為保護(hù)我們隱私與權(quán)益會(huì)給兩塊牌子：“請(qǐng)勿打擾”與“歡迎打掃”。不過，這兩塊牌子并不能阻止竊賊或惡徒闖入。也就是說，Robots協(xié)議是互聯(lián)網(wǎng)業(yè)界的道德規(guī)范，并不具有防火墻性質(zhì)。

不過，Robots協(xié)議的道德范疇性質(zhì)也為各種人為操作提供了舞臺(tái)。這如同人人都知坐公交車應(yīng)該主動(dòng)為老人孕婦讓座，但如果有人不這樣做，誰又能指責(zé)其道德不良，并強(qiáng)行讓其讓座呢？此種事件體現(xiàn)在互聯(lián)網(wǎng)上，就變成了有些搜索巨頭憑借自己技術(shù)與影響力優(yōu)勢(shì)，蓄意打擊同行業(yè)競(jìng)爭(zhēng)者。比如，他可以去抓取別人的網(wǎng)站信息，卻利用技術(shù)手段阻止別人抓取自己的網(wǎng)站信息，并自我設(shè)定Robots協(xié)議“白名單”，而唯獨(dú)歧視性地將有力競(jìng)爭(zhēng)者360列入“黑名單”，拒絕其抓取相關(guān)網(wǎng)站信息。這些信息版權(quán)許多原本并不屬于其所有。

從中可見，原本互聯(lián)網(wǎng)道德范疇Robots協(xié)議卻被有些搜索巨頭人為操作用來打造了自家的“后花園”與“自留地”并謝絕特定人參觀，而此種動(dòng)機(jī)的背后無疑是為了打擊潛在的競(jìng)爭(zhēng)者，標(biāo)榜自己的先入為主、行業(yè)領(lǐng)袖地位。互聯(lián)網(wǎng)是個(gè)公開的地盤，各種協(xié)議都是需共同遵守的協(xié)議規(guī)范，而如《互聯(lián)網(wǎng)著作權(quán)行政保護(hù)辦法》、《互聯(lián)網(wǎng)新聞信息服務(wù)管理規(guī)定》、《中國互聯(lián)網(wǎng)絡(luò)信息中心域名爭(zhēng)議解決辦法》、《互聯(lián)網(wǎng)視聽節(jié)目服務(wù)管理規(guī)定》、《七條底線》等也都應(yīng)是運(yùn)營商與網(wǎng)民共同遵守的底線。正是有了它們，我們的網(wǎng)上沖浪才能方便快捷。

互聯(lián)網(wǎng)世界與搜索服務(wù)是一片自由競(jìng)爭(zhēng)的機(jī)遇沃土，并沒有所謂“先來后到”。搜索引擎服務(wù)應(yīng)該謹(jǐn)守開放、平等、協(xié)作、分享的互聯(lián)網(wǎng)精神，而不應(yīng)該成為誰家的后花園與自留地。Robots協(xié)議道德契約需要以更好為網(wǎng)民服務(wù)，并在真誠、尊重、互助氛圍下共同呵護(hù)，以真正打造一個(gè)人人都能期待“眾里尋他千百度，驀然回首，那人卻在燈火闌珊處”互聯(lián)網(wǎng)夢(mèng)想、欣喜與恬靜。