File robot.txt adalah sebuah file yang berfungsi sebagai pelindung sebuah web dari berbagai webcrawler.sintaks yang digunakan, berfungsi supaya anda dapat melihat isi atau sistem arsitekturnya. Anda bahkan dapat mengetahui link apa saja yang tidak boleh diakses oleh google.Dari hal ini, Anda bisa mengetahui terdapat link tersembunyi apa saja dalam situs tersebut.
sintaks:
(inurl:"robot.txt | inurl:"robot"robot.txt")
intext:disallow filetype
Related Post :)
0 comments:
Post a Comment
Bila tak pegal di tangan
silahkan tulis sebuah komentar!