Замок был построен на руинах Мавзолея Адриана. Название Замка св. Ангела восходит к XII в., но берет начало из древнейшей легенды. Во время торжественной процессии, устроенной папой Григорием Великим для того, чтобы умолить Пресвятую Деву спасти от свирепствующей в городе чумы, на небе появился ангел и остановился наверху Мавзолея, вкладывая шпагу в ножны в знак дарования благодати. Тогда и была устроена часовня во имя Ангела и впоследствии поставлена статуя Ангела в воспоминание этого чуда; с тех пор крепость была переименована в Замок св. Ангела.