Η ευρετηρίαση των σελίδων γίνεται μέσω των λεγόμενων search robots ή ρομπότ αναζητητών. Ειδικότερα των google bots που κάνουν το web crawling ανά τακτά διαστήματα κατά τη διάρκειά της ημέρας. Το crawling δεν είναι άλλο από την μηχανική ανάγνωση του πηγαίου κώδικα των σελίδων, την συλλογή πληροφοριών και η κατάταξη τους στα ευρετήρια τους. Τα ρομπότ διαβάζουν κείμενο, βίντεο και meta-tags.
Τα meta-tags είναι ετικέτες μετακειμένου, δηλαδή συνοδευτικό κείμενο τη σελίδας μας που περιέχει τις λέξεις κλειδιά, τις επικεφαλίδες και χρήσιμες πληροφορίες όπως το allow και το disallow. Είναι σημαντικό ότι τα ρομπότ δεν διαβάζουν μόνο meta tags, όπως πολύς κόσμος νομίζει. Τα ρομπότ διαβάζουν τα πάντα στη σελίδα μας, κείμενο, εικόνες, βίντεο, τίτλοι σελίδας καθώς και τα meta tags.
Στις περισσότερες περιπτώσεις τα bots εκτελούν απλές λειτουργίες που θα πρέπει να επαναληφθούν εκατοντάδες ή χιλιάδες φορές. Μία κλασσική εφαρμογή των bots είναι οι αράχνες του διαδικτύου (web spiders), οι οποίες περιφέρονται στις σελίδες και χρησιμοποιούνται για την ανάλυσή της σε ρυθμό πολλαπλάσιο απ’ ότι θα μπορούσε ένας άνθρωπος.
Οι μηχανές αναζήτησης όπως η Google, χρησιμοποιούν τέτοιες αράχνες για την ανάλυση και ταξινόμηση των ιστοσελίδων σύμφωνα με διάφορες λέξεις κλειδιά, ούτως ώστε στην συνέχεια να μπορούν να παρουσιάσουν στον χρήστη τα αποτελέσματα της αναζήτησης σε πολύ μικρό χρονικό διάστημα.
Η προσβασιμότητα είναι ένα κρίσιμο στοιχείο επιτυχίας στο ίντερνετ. Εστιάστε σε κινητές συσκευές, άτομα με ειδικές ανάγκες και το βασικότερο επιτυχημένη προσπέλαση από τις μηχανές και το Googlebot. Όσον αφορά το Googlebot διαβάζει κείμενο HTML, PDFs, docs, txts αλλά δύσκολα διαβάζει εικόνες, ταινίες και δυναμικό περιεχόμενο όπως Flash, JavaScript, frames ή dynamically generated URLs. Η συμβουλή είναι να δείτε τη σελίδα σας πως φαίνεται στις μηχανές σε ένα text only browser.
Κακόβουλες χρήσεις των bots
Τα bots χρησιμοποιούνται πολύ συχνά από χάκερς για τον συντονισμό και την διεξαγωγή διαδικτυακών επιθέσεων σε servers ή για άλλους κακόβουλους σκοπούς. Ένας χάκερ συνήθως έχει στην διάθεσή του πολλά bots, τα οποία σχηματίζουν ένα δίκτυο από bots (botnet) και επιτίθενται ταυτόχρονα σε έναν server στο ίντερνετ.
Γενικά μπορεί κανείς να διαχωρίσει τις κακόβουλες χρήσεις των bots σε διάφορες κατηγορίες:
- Spambots: Ψάχνουν σελίδες του διαδικτύου για διευθύνσεις email, ούτως ώστε αυτές στην συνέχεια να χρησιμοποιηθούν για spamming.
- Denial of service Bots: Κατεβάζουν ολόκληρα sites και χρησιμοποιούν το διαθέσιμο bandwidth του web server με αποτέλεσμα να μην μπορούν να εξυπηρετηθούν άλλοι χρήστες.
- Ιοί Bots που χρησιμοποιούνται από ιούς υπολογιστών και δούρειους ίππους.
- Οι υπολογιστές zombie χρησιμοποιούνται πολλές φορές για την δημιουργία bots και την διεξαγωγή διαδικτυακής επίθεσης σε έναν server.
