In de literatuur over de geschiedenis van de Antwerpse burcht werd al ingegaan op de oudste vermeldingen ervan, en de burcht werd ook al gedeeltelijk archeologisch onderzocht. Minder aandacht werd besteed aan de iconografie, in het bijzonder aan een merkwaardig, donjon-achtig gebouw met een mezekooi of uitkragende borstwering en vier arkeltorens.
Dit gebouw is echter mogelijk zichtbaar op een tiental afbeeldingen uit verschillende perioden. Vertrekkend van de vraag of dit gebouw mogelijk afgebeeld werd op het stadszegel van 1302, worden de afbeeldingen ervan opgesomd: op het redegezicht van 1515-1518, het vogelvluchtplan van ca. 1525, een onderdeel van een Scheldekaart en van het Meester van het Morrison-drieluik(?), het redezicht van Bonnecroy (?) en van Probst-Ringlin, het Bononiensisplan, een panoramische foto vanuit de kathedraal en een initiaalletter uit een Brussels handschrift.
Bouwaanvragen lijken erop te wijzen dat het gebouw (dat met het rechttrekken van de Scheldekaaien verdween) in de loop der tijden serieus verbouwd werd en de huisnaam Gans had. Bovendien wijzen de schepenregisters uit dat de Gans in de vijftiende eeuw bewoond werd door leden van de Antwerpse elite (de Antwerpse scout en kamerheer van Karel de Stoute, een rentmeester van de hertog, een tollenaar…). Misschien kan zelfs een dertiende-eeuwse schepen als bewoner geïdentificeerd worden. Tot hoever gaat de geschiedenis van dit gebouw terug?