Ο Λευκός Πύργος είναι κυκλικός, έχει ύψος 33,90 μ. και διάμετρο 21,70 μ. Αποτελείται από ισόγειο και έξι ορόφους. Είναι κτισμένος με πέτρες, κονίαμα και μερική χρήση πλίνθων, ενώ στις επάλξεις, στην οροφή της εισόδου και του ισογείου και στην καμάρα του κλιμακοστασίου μόνο με πλίνθους.
Εκτός από το ισόγειο και τον έκτο, που αποτελούνται μόνο από ένα κυκλικό χώρο, οι υπόλοιποι πέντε όροφοι διαμορφώνονται με ένα κυκλικό χώρο στο κέντρο τους, διαμέτρου 8,50 μ., και μικρά δωμάτια στην περίμετρό τους, που επικοινωνούν με τον κεντρικό χώρο, άμεσα ή έμμεσα, με χαμηλά ανοίγματα.
Από αρχιτεκτονική άποψη η κατασκευή του Πύργου αποτελείται από δύο κυλίνδρους, τον εξωτερικό και τον εσωτερικό. Ο εξωτερικός κύλινδρος υψώνεται μέχρι και τον πέμπτο όροφο, ενώ ο εσωτερικός είναι κατά ένα όροφο ψηλότερος και έτσι εξωτερικά του διαμορφώνεται δώμα, που προσφέρει εξαιρετική θέα στην πόλη και στον Όλυμπο. Ανάμεσα στους δύο κυλίνδρους διαμορφώνεται το ελικοειδές κτιστό κλιμακοστάσιο που αποτελείται από ενενήντα δύο σκαλοπάτια. Σαράντα παράθυρα αφήνουν το φως της ημέρας να φωτίσει το εσωτερικό του πύργου.
Μέχρι τις αρχές του 20ού αι. ο Πύργος περιβαλλόταν από χαμηλό οκταγωνικό περιτείχισμα, που σε τρεις από τις γωνίες του είχε οκταγωνικούς πυργίσκους. Το περιτείχισμα, που πιθανόν κατασκευάστηκε το 1535/36, κατεδαφίστηκε το 1911.