Hatte die Einwohnerzahl Ulms im 14. Jahrhunderts noch bei 4000 bis 7000 gelegen, so erreichte sie um 1600 mit ca. 21000 ihren Spitzenwert in reichsstädtischer Zeit, worauf sie bis zum Jahr 1800 wieder auf ca. 13000 zurückging. Die im Laufe des 14. Jahrhunderts deutlich vergrößerte Siedlungsfläche der Stadt bot bis zur Mitte des 19. Jahrhunderts ausreichend Platz für die stark schwankende Einwohnerzahl. Die Veränderungen im Stadtbild lassen sich anhand einer Reihe bildlicher Darstellungen gut nachvollziehen. Zu den wichtigsten gehören die Stadtansicht aus Hartmann Schedels Weltchronik vom Jahre 1493, die Abbildung aus Sebastian Münsters „Cosmographia“ von 1574 (1. Auflage 1544), der Vogelschauplan (1597) sowie der Kupferstich aus Matthäus Merians „Topographia Sueviae“ von 1643.