久久久欧美精品影院,国内精品久久久久国产盗摄,国产精品一区久久久,亚洲精品韩国一区二区,国产精品久久久永久免费,久久亚洲国产视频,亚洲精品国产第一综合99久久,精品国产乱码久久久一区二区

歡迎您訪問(wèn)思政資源庫(kù)!
中唐方德官網(wǎng) | 思政直播
什么是robots協(xié)議

什么是robots協(xié)議

93
0
展開(kāi)
下載
收藏
版權(quán)說(shuō)明

發(fā)布日期:2023-01-26

true

來(lái)源:百度百科

簡(jiǎn)介:
robots協(xié)議也稱(chēng)爬蟲(chóng)協(xié)議、爬蟲(chóng)規(guī)則等,是指網(wǎng)站可建立一個(gè)robots.txt文件來(lái)告訴搜索引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不能抓取,而搜索引擎則通過(guò)讀取robots.txt文件來(lái)識(shí)別這個(gè)頁(yè)面是否允許被抓取。但是,這個(gè)robots協(xié)議不是防火墻,也沒(méi)有強(qiáng)制執(zhí)行力,搜索引擎完全可以忽視r(shí)obots.txt文件去抓取網(wǎng)頁(yè)的快照。如果想單獨(dú)定義搜索引擎的漫游器訪問(wèn)子目錄時(shí)的行為,那么可以將自定的設(shè)置合并到根目錄下的robots.txt,或者使用robots元數(shù)據(jù)(Metadata,又稱(chēng)元數(shù)據(jù))。

適用專(zhuān)業(yè)(1)

    本科(1):

  • 數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)
  • 展開(kāi)

適用課程(1)

  • 程序設(shè)計(jì)基礎(chǔ)(Python語(yǔ)言)
  • 展開(kāi)
版權(quán)說(shuō)明及權(quán)利通知
加入資源庫(kù)VIP 本文免費(fèi)下載
2萬(wàn)VIP文檔下載
海量文檔免費(fèi)下載
付費(fèi)資源7折起
專(zhuān)屬客服服務(wù)
僅需0.6元/天
開(kāi)通VIP
繼續(xù)閱讀
VIP用戶(hù)可繼續(xù)閱讀
收藏
版權(quán)說(shuō)明
下載
VIP專(zhuān)享文檔
付費(fèi)資源7折起
專(zhuān)屬客服服務(wù)
僅需0.6元/天
立即開(kāi)通