検索エンジンクローラー用のrobots.txtは何ができるのか

robots.txtはクローラーへ巡回ルールを伝える仕組みですが、非公開化、検索結果からの削除、情報保護を保証するも…