Στα παλιά χρόνια, τότε που στα νερά του Αιγαίου αρμένιζαν πειρατές και επίδοξοι κατακτητές, οι κάτοικοι των νησιών αναζητούσαν ασφαλές καταφύγιο σε οχυρωμένες ακροπόλεις και κάστρα. Η Σκόπελος δεν αποτελεί εξαίρεση.
Στην αρχαιότητα, οι τρεις πόλεις της, η Πάνορμος, η Σελινούς και η Πεπάρηθος, ήταν τειχισμένες. Αν και οι δύο από τις τρεις πιθανόν εγκαταλείφθηκαν από την αρχή του Μεσαίωνα, η Πεπάρηθος επιβίωσε στην ίδια θέση μόνο που πήρε το όνομα Σκόπελος. Το τείχος της φάνηκε χρήσιμο στους κατοίκους των βυζαντινών χρόνων, αφού αποτέλεσε βάση για τις δικές τους οχυρώσεις. Το βυζαντινό τείχος, μέρος του οποίου σώζεται σήμερα στο βόρειο και ψηλότερο μέρος της πόλης της Σκοπέλου και στα Aνατολικά, με εμφανείς πολλές μεταγενέστερες ενετικές προσθήκες, κατασκευάστηκε από αργολιθοδομή και ξυλοδεσιά.
Στις αρχές του 13ου αιώνα το νησί περνά στα χέρια των Ενετών. Το 1260, σε επίσημο κατάλογο φρουρίων αναφέρεται ενετική οχύρωση στη Σκόπελο. Στα τέλη του ίδιου αιώνα, λόγω της συνεχούς απειλής από τους πειρατές αποφασίστηκε να επισκευαστεί το παλαιό κάστρο, το οποίο είχε επισκευαστεί και κατά τους βυζαντινούς χρόνους. Το κάστρο των Αγίων Πάντων βρίσκεται στη βόρεια άκρη του λιμανιού της πόλης, σε θέση στρατηγικής σημασίας, γιατί εξασφάλιζε άμεση πρόσβαση στο βουνό από όπου μπορούσαν οι αμυνόμενοι να συνεχίσουν να πολεμούν σε περίπτωση ανάγκης. Το ενετικό τείχος, κατασκευασμένο από αργολιθοδομή και θεμελιωμένο πάνω στα αρχαία ερείπια και το βυζαντινό τείχος, είχε δύο περιβόλους και τετράγωνους πύργους που προστάτευαν την πύλη. Στην ανατολική πλευρά σώζονται και οι πολεμίστρες του. Ένα συμπληρωματικό τείχος κατέβαινε κάθετα από το κάστρο ως τη θάλασσα για να προστατεύσει τον πυρήνα του οικισμού.
Χάρη στην εξαιρετική θέση και τις ισχυρές οχυρώσεις της, η Σκόπελος αποδείχθηκε απόρθητη στα βυζαντινά και τα ενετικά χρόνια. Μόνο το 1276, όταν οι Βυζαντινοί, με επικεφαλής τον Αρχιναύαρχο του Βυζαντινού Στόλου Λικάριο πολιόρκησαν τους Ενετούς, οι οποίοι αναγκάστηκαν να παραδοθούν λόγω έλλειψης νερού.
