robots.txt 什麼是 robots.txt 文件？ robots.txt 是網站管理員創建的一個文本文件，用於指導網路機器人（通常是搜尋引擎機器人）如何抓取其網站上的頁面。robots.txt 文件是機器人排除協議 (REP) 的一部分，該協議是一組網路標準定義，用於規範機器人如何抓取網路、訪問和索引內容，並將該內容提供給用戶。REP 還包括諸如meta robots之類的指令，以及關於搜