Das Haus zum Rechberg, einst vor dem Neumarkttor gelegen, finden wir heute direkt bei der Haltestelle "Neumarkt". Bereits 1465 war die gesamte Liegenschaft ein Erblehen des Chorherrenstiftes. In den Urkunden und Zeitdokumenten finden wir bereits 1533 den Hausnamen "zur Krone". Als Wirtshaus erwähnt finden wir das Gebäude 1538 sogar in Jos Murers Stadtplanvedute.

Im Jahre 1619 erfolgte ein Um- resp. Neubau. Ein weiterer grösserer Neubau wurde dann 1759-1770 durch den Zunftmeister Hans Kaspar Werdmüller in die Wege geleitet. Diesbezüglich interessant ist die Erklärung für die relativ lange Bauzeit, die uns das die Buchreihe "Die Kunstdenkmäler der Schweiz" liefert. So war es früher Gewohnheit nur im Sommer zu bauen.

1799, während der Zeit des zweiten Koalitionskrieges, diente dieses vornehme Privathaus als Quartier für Befehlshaber fremder Heere. 1839 wurde das Gebäude von den Gebrüdern Adolf Friedrich und Karl Gustav von Schulthess Rechberg gekauft. Sie gaben dem Haus auch den heute noch gebräuchlichen Namen "zum Rechberg" in Anlehnung an ihr einstiges Vaterhaus am Neumarkt 6.

Im Jahre 1899 wurde die Liegenschaft dann vom Kanton Zürich übernommen zur Nutzung für Schulen (Hochschule und Kantonsschule) und Verwaltung. In den Jahren 1936 und 1937 wurde das Gebäude für Belange der Universität eingerichtet, welche heute noch ein Institut darin beherbergt.

Der sehenswerte Park ist für die Öffentlichkeit zugänglich. Über diverse Gartentreppen und Wege gelangen wir so bis zur Rämistrasse.