Αν κάποιος μιλήσει για τις ομορφιές του Καστελλορίζου, δεν πρέπει να ξεχάσει τα θαλάσσια σπήλαιά του, με κορυφαίο την ονομαστή Γαλάζια Σπηλιά. Αλλες ονομασίες της είναι Φωτσαλίτσι και Τρύπα του Παραστά. Στην ευνοϊκότερη περίπτωση, όταν δεν υπάρχει φουσκοθαλασσιά, έχει ύψος 1,20 μέτρα. Για να μπει κανείς μέσα με βάρκα πρέπει να σκύψει χαμηλά το κεφάλι. Μετά την είσοδο, το ύψος της οροφής αναπτύσσεται προοδευτικά, ώσπου φθάνει τα 25-30 μέτρα. Διατηρείται έτσι μέχρι το τέρμα του πρώτου θαλάμου. Ο πρώτος θάλαμος έχει μέγιστο πλάτος 80 μέτρα και μέγιστο μήκος 115 μέτρα. Τα τελευταία 20 μέτρα του μήκους καλύπτονται από τεράστιους ογκόλιθους που αποσπάστηκαν από την οροφή. Κοντά στο τέλος της δεξιάς πλευράς του θαλάμου διανοίγεται δεύτερος θάλαμος τυμπανικής μορφής με διαστάσεις 40Χ42Χ15 μέτρα. Στο τέρμα της σπηλιάς υπάρχει μία αμμουδιά.
Το καταπληκτικό με το ενάλιο αυτό σπήλαιο είναι οι γαλάζιοι χρωματισμοί του που το καθιστούν ένα από τα πιο εντυπωσιακά ενάλια σπήλαια της Μεσογείου. Πολλοί υποστηρίζουν ότι ξεπερνά σε ομορφιά και αυτό του Κάπρι της Ιταλίας. Η πιο εντυπωσιακή ώρα να το επισκεφθεί κανείς είναι μόλις εισχωρούν μέσα οι πρώτες ακτίνες του ήλιου κατά την ανατολή. Τότε είναι που η διάθλαση του φωτός δίνει στο νερό το πιο έντονο γαλάζιο χρώμα. Είναι τόσο μαγευτικό το αποτέλεσμα που κανείς δεν μπορεί να αντισταθεί να ρίξει μια βουτιά όσες φορές κι αν έχει επισκεφθεί τη σπηλιά.
Κάποτε η σπηλιά ήταν γεμάτη από εντυπωσιακούς σταλακτίτες που τώρα σπανίζουν, γιατί τους έσπαγαν και τους έπαιρναν για ενθύμιο οι επισκέπτες. Πού και πού διακρίνονται και μερικά κοράλλια. Εκεί βρίσκει καταφύγιο και η φώκια Monachus monachus, που πρόσφατα γέννησε. Οταν υπάρχουν νεογέννητες φώκιες, οι κολυμβητές πρέπει να προσέχουν να μην πλησιάσουν τα μικρά, γιατί οι μητέρες αγριεύουν και μπορεί να επιτεθούν.
Αλλες σπηλιές του νησιού είναι η σπηλιά του Αρναούτη, η σπηλιά του Κατραντζή και οι Κολώνες.
