Σχετικά κοντά στη Μονή του Αρκαδίου, περίπου 22 χλμ νοτιοδυτικά του Πανόρμου, βρίσκεται η αρχαία Ελεύθερνα. Πόλη χτισμένη ανάμεσα σε πυκνή βλάστηση με φυσική οχύρωση στους βόρειους πρόποδες του Ψηλορείτη, αποτελεί το σημαντικότερο αρχαιολογικό χώρο του νομού Ρεθύμνου, ο οποίος μάλιστα δεν έχει ανασκαφεί ακόμη πλήρως.

Την πόλη ίδρυσαν οι Δωριείς τον 9ο αιώνα π.Χ. ανάμεσα στις πόλεις Κυδωνία, Κνωσσό και το ιερό στο όρος Ίδη, μια θέση στρατηγικής σημασίας που φαίνεται ότι συνετέλεσε αποφασιστικά στην πολύχρονη πορεία της. Κατά τη διάρκεια του Πρώτου Κρητικού Πολέμου (205 π.Χ. έως 200 π.Χ.), η πόλη τάχθηκε στο πλευρό του βασιλιά της Μακεδονίας, Φιλίππου Ε’, ενάντια στη Ρόδο και την Κνωσσό.

Μετά την κατάληψη του νησιού από τους Ρωμαίους, πολιορκήθηκε και δεν έπεσε στα χέρια του Ρωμαίου στρατηγού Μέτελλου παρά μέσω προδοσίας. Η πόλη εξακολούθησε να αναπτύσσεται, ενώ ανοικοδομήθηκαν λουτρά, βίλες, πύργοι και δημόσια κτίρια.

Κατά τη βυζαντινή περίοδο η πόλη έγινε έδρα επισκοπής, με αποτέλεσμα να χτιστεί η μεγάλη βασιλική του Μιχαήλ Αρχαγγέλου στα μέσα του 7ου αιώνα, ερείπια της οποίας σώζονται μέχρι και σήμερα. Τελικά, οι επιδρομές των Αράβων τον 8ο αιώνα και ένας σεισμός το 796 οδήγησαν την άλλοτε ακμάζουσα πόλη σε παρακμή.

Στη θέση Ορθή Πέτρα έχει έρθει στο φως νεκρόπολη των γεωμετρικών και αρχαϊκών χρόνων, ενώ στα πρόσφατα χρόνια ανακαλύφθηκε ένας διπλός τάφος ηλικίας 2.700 ετών, που έκρυβε περισσότερα από 3.000 φύλλα χρυσού και την πρώτη απεικόνιση της μέλισσας ως θεάς. Η σημασία του αρχαιολογικού χώρου της Ελεύθερνας οδήγησε στην απόφαση να δημιουργηθεί το εκπληκτικό Αρχαιολογικό Μουσείο της Ελεύθερνας, ένα από τα σημαντικότερα μουσεία της Ελλάδας.