Im Laufe der folgenden Jahrhunderte wechselte das Gebäude häufig den Besitz. Es diente unter anderem ab 1587 dem Basler Domkapitel als Residenz- und Verwaltungsgebäude. Auf jene Zeit geht auch der Name Basler Hof zurück.
Als knapp 100 Jahre später die französischen Truppen unter Vauban Freiburg zu einer gigantischen Festung ausbauten, ließen sie sich in dem repräsentativen Bau nieder. 1687 nächtigte auch König Ludwig XIV. im Basler Hof, um bei einer Stippvisite seine eroberten Gebiete zu begutachten.
Die dunkle und wenig bekannte Seite des mittelalterlichen Gebäudes spielte sich während des Zweiten Weltkrieges ab, als die Gestapo von 1933 bis 1941 im Keller Regimegegner misshandelte und folterte. Da der Basler Hof beim Bombenangriff vom 27. November 1944 völlig zerstört wurde, gibt es allerdings kaum schriftliche Zeugnisse über die Gräueltaten.
Nach dem originalgetreuen Wiederaufbau des Basler Hofes mit seinem Renaissanceportal ist dieser seit 1952 Sitz des Regierungspräsidenten Freiburgs. Seither ist Ruhe eingekehrt. Nur einmal im Jahr, wenn die fünfte Jahreszeit eingeläutet wird, sorgen die Narren der Fasnet für lautes und fröhliches Gelächter.
