Το βενετσιάνικο φρούριο της Φορτέτζας είναι κτισμένο πάνω στο λόφο του Παλαιοκάστρου, στα δυτικά της σημερινής πόλης. Στο λόφο αυτό υπήρχε η ακρόπολη της αρχαίας πόλης της Ρίθυμνας και το ιερό της Ροκκαίας Αρτέμιδος. 

Τα λαξεύματα που εντοπίστηκαν σε διάφορα σημεία του λόφου, μαρτυρούν την ύπαρξη της ακρόπολης πάνω στο βράχο. 

Ο οικισμός μάλλον βρισκόταν κοντά στο λιμάνι. Ωστόσο δεν υπάρχουν στοιχεία ούτε για τη μορφή του οικισμού, ούτε για τη μορφή της ακρόπολης και του ιερού.