如何重新提交更新或新的Robots.txt文件

機器人txt

我們的代理機構 自然搜索諮詢 適用於行業中的多家SaaS供應商。 我們最近開始與之合作的一位客戶已經做了相當標準的實踐,將他們的應用程序放在一個子域上,並將其宣傳冊站點移至核心域。 這是一種標準做法,因為它使您的生產團隊和市場營銷團隊都可以根據需要進行更新,而無需彼此依賴。

作為分析其自然搜索健康的第一步,我們在網站管理員中註冊了手冊和應用程序域。 到那時,我們發現了一個迫在眉睫的問題。 所有應用程序頁面都被搜索引擎禁止索引。 我們導航到網站管理員中的他們的robots.txt條目,並立即發現了問題。

在準備遷移時,他們的開發團隊不希望通過搜索為應用程序子域建立索引,因此他們禁止訪問搜索引擎。 robots.txt文件是在您網站的根目錄中找到的文件– yourdomain.com/robots.txt –讓搜索引擎知道是否應該對網站進行爬網。 您可以編寫規則以允許或禁止在整個站點或特定路徑上建立索引。 您還可以添加一行以指定您的站點地圖文件。

robots.txt的 文件具有以下條目,該條目阻止網站被爬網並在搜索結果排名中建立索引:

用戶代理:*不允許:/

它應該被編寫如下:

用戶代理:*允許:/

後者為所有搜尋該網站的搜索引擎提供許可,使他們可以訪問該網站內的任何目錄或文件。

太好了,所以現在 robots.txt的 文件是完美的,但是Google如何知道以及他們何時會再次檢查該網站? 好吧,您可以絕對要求Google檢查您的robots.txt,但這不是很直觀。

導航到 谷歌搜索控制台搜索控制台抓取> robots.txt測試器。 您將在測試儀中看到最近抓取的robots.txt文件的內容。 如果您想重新提交robots.txt文件,請單擊“提交”,然後會彈出一個對話框,提供一些選項。

重新提交robots.txt

最後的選擇是 要求Google更新。 單擊該選項旁邊的藍色“提交”按鈕,然後導航回到 抓取> robots.txt測試器 菜單選項以重新加載頁面。 現在,您應該會看到更新後的robots.txt文件以及一個日期戳,表明它已再次被爬網。

如果沒有看到更新的版本,則可以單擊提交並選擇 查看上傳的版本 導航到實際的robots.txt文件。 許多系統將緩存此文件。 實際上,IIS根據通過用戶界面輸入的規則動態生成此文件。 您很可能必須更新規則並刷新緩存以發布新的robots.txt文件。

機器人-txt-測試員

你覺得呢?

本網站使用Akismet來減少垃圾郵件。 了解您的評論如何處理.