Mit dem Verlust der Reichsfreiheit und der Eingliederung Ulms nach Bayern (1802) und acht Jahre später in das Königreich Württemberg verloren die Urkunden und Akten ihre bisherige rechtliche Bedeutung und damit vorübergehend auch Stadtrat und Verwaltung ihr Interesse am Archiv. Dazu kam, dass die neuen Regierungen ultimativ die Herausgabe wertvoller Bestände verlangten, insbesondere Unterlagen über die Beziehungen zu Kaiser und Reich und den benachbarten Herrschaften, sowie zur Verwaltung des einstigen Territoriums. Andere Bestände wurden zeitweise in und um Ulm verstreut, wozu auch die dem Archivar statt seines rückständigen Gehalts gegebene Erlaubnis zum Verkauf „unbrauchbarer alter Papiere" beitrug. Dank des großen Engagements einzelner Gelehrter, dann des Vereins für Kunst und Altertum in Ulm und Oberschwaben und schließlich der Stadt selbst gelang es in den folgenden Jahrzehnten, viele der in verschiedene Hände gelangten Archivalien wieder zu sammeln oder zurückzukaufen und dem Stadtarchiv zu übergeben.

Erst nach mehrfacher Mahnung durch die Aufsichtsbehörde wurde 1879 Ratsschreiber Link mit grundlegenden Ordnungs- und Verzeichnungsarbeiten im Archiv beauftragt. Bei seinem Dienstantritt fand er die Akten in völliger Unordnung an verschiedenen Stellen im Rathaus und im nördlichen Seitenturm des Münsters vor. Er erstellte Repertorien (= Findbücher) über die Urkunden und Akten und verlagerte einen Teil der Bestände wegen Raummangels in ein im südlichen Münsterturm neu eingerichtetes Archiv. Am 01.10.1908 zog das Stadtarchiv zusammen mit der Stadtbibliothek in das umgebaute, 1898 von der Stadt zurückgekaufte Schwörhaus ein. 1934 wurde das Gewölbe im Gebäude Sattlergasse 4 (ehem. Weinhofschule) dem Archiv zusätzlich zur Aufnahme von Archivbeständen zugewiesen.

Aus Zweckmäßigkeitsgründen wurden die Luftschutzmaßnahmen für Archiv, Bibliothek und Museum zusammengefasst. Zunächst wurden wertvolle Bestände in den rückwärtigen Teil des Schwörhauses verlagert, da für diesen Teil Feuer- und Trümmersicherheit angenommen wurde. Für „wertvollste Bestände" wurde ein kleiner Luftschutzraum unter dem Archiv eingerichtet. Die Sicherung von Archivgut außerhalb der Stadt begann im September 1942 mit der Verlagerung von Urkunden und 1.500, bis in das 14. Jahrhundert zurückreichenden Aktenfaszikeln in das Schloss Oberbalzheim. Ab Oktober 1942 wurden im Schönbornschen Schloss Oberstadion weitere Räume gemietet, in die ab Herbst 1943 auch sämtliche ältere Ratsprotokolle gebracht wurden. Weitere Bergungsorte, zugleich auch für Bibliotheks- und Museumsgut, waren das Fuggerschlösschen Oberdischingen, die Schlossbrauerei Reutti/Neu-Ulm, die Saline Bad-Friedrichshall/Kochendorf, Schloss Osterberg, das Freybergsche Gut zu Altheim (bei Allmendingen) und die Pfarrhäuser Berkheim und Gutenzell. Reichsstädtische Urkunden und das Spitalarchiv, die zuerst im Luftschutzraum unter dem Archiv untergebracht waren, übersiedelten noch im März 1945 nach Oberbalzheim. Das Schwörhaus wurde infolge des Bombenangriffs vom 17. Dezember 1944 zu drei Vierteln durch Brand zerstört. Verloren gingen sämtliche Repertorien sowie die Amtsregistratur. Verluste an Archivalien waren nur im Depot in der Sattlergasse 4 zu beklagen, wo 200 lfm meist noch nicht verzeichneter Archivalien des 17.-19. Jahrhunderts aus den Registraturen des Spitals und städtischer Ämter dem Feuer zum Opfer fielen.

Zur Rückführung der Bestände von Stadtarchiv und Stadtbibliothek wurden im Nordostflügel des Klosters Wiblingen Räume angemietet. Als diese für Wohnzwecke beansprucht wurden, konnte das Archiv nach mehrmaligem Umzug innerhalb der Klostergebäude das alte Wiblinger Schulhaus nutzen. Im April 1948 mußte auch die Schule für Schulzwecke freigegeben und das erst vor kurzem aufgestellte Archiv in die wegen Feuchtigkeit ungeeigneten Souterrainräume des neuen Wiblinger Schulhaus verlagert werden. Im Januar 1952 erfolgte eine erneute Verlagerung der Archivbestände auf den Ostflügel der Rathausbühne, da die Räume im neuen Schulgebäude von der Schule und dem Evangelischen Kindergarten beansprucht wurden. Amts- und Benutzerräume für das Archiv wurden getrennt von den Magazinräumen in der Münchner Straße 13 eingerichtet. In der 2. Hälfte des Jahres 1954 zogen Archiv und Bibliothek in das wieder errichtete Schwörhaus ein. Der Verlust der Repertorien im Krieg machte die Neuverzeichnung der Archivalien notwendig, ermöglichte aber im Zuge einer Neuordnung die Trennung in einen reichsstädtischen Bestand (einschließlich bayerische Übergangszeit bis 1810) und in einen städtischen Bestand (ab 1810), der in Anlehnung an den Aktenplan der Verwaltung verzeichnet und geordnet wurde. 1964 wurde das Schwörhaus durch einen notwendig gewordenen Magazinbau (Weinhof 15) erweitert, der mit dem Schwörhaus durch einen unterirdischen Verbindungsgang verbunden ist. 1968 endete die Personalunion in der Leitung von Archiv und Bibliothek. 1989 konnte das Stadtarchiv die Außenstelle Pionierkaserne beziehen, die im wesentlichen die neueren Aktenablieferungen der städtischen Ämter aufnimmt. Mit der Verlagerung der Stadtbibliothek in einen Neubau 2004 wurde das Schwörhaus  zum „Haus der Stadtgeschichte - Stadtarchiv Ulm" (Eröffnung am 14. Juli 2007) mit stadtgeschichtlicher Ausstellung und großzügigem Lesesaal umgebaut.