Die Scaligerburg (Castello Scaligero) mit einem großen Hafenbecken und einer Ringmauer schließt das Städtchen vom Festland ab. Sie wurde im 13. Jahrhundert auf Wunsch des Stadtherrn von Verona, des Mastino I. della Scala, auf dem ersten der drei Hügel erbaut. Sie diente vorrangig zur Verteidigung und Machtdemonstration der Scaliger und prägt heute das Bild von Sirmione. Über eine Zugbrücke gelangt man durch ein Portal mit den Wappen der Scaliger und der Venezianer in die Burg, von der aus man den Zugang zur Ortschaft kontrollieren konnte. Bei einem Rundgang über die Wehrgänge und durch die Ecktürme kann sich der Besucher ein Bild von dem ausgeklügelten Verteidigungssystem aus dicken Mauern, Treppen und Zugbrücken machen. Die Burg bietet einen Blick auf den Hafen von Sirmione, der ebenfalls von den Scaligern angelegt wurde.
