Das "Kaufhaus" gehörte vom 13. bis zum 17. Jahrhundert vermutlich dem Kaufmannsamt, das häufig als Vorläufer des Rathauses gesehen wird. Hier wurden Tuche und Wein gehandelt und fanden Sitzungen des Vierziger Rates, dem Vorläufer des Stadtrates, statt. Das Gebäude nahm die gesamte Parzelle bis hin zur Stützmauer vor der Geländeterrasse zur Oberstadt ein.

1711 wurde es in ein Vorder- und Hinterhaus mit dazwischenliegendem Hof geteilt. Ab 1733 war das Gebäude Sitz der Landstände als "Landschaftshaus".

1803 wurden Weinhändler die neuen Eigentümer und veranlassten grundlegende Umbauten für ihre Zwecke. Die heute erhaltene Sandsteinfassade in neubarocken Formen wurde 1900 nach Plänen des aus Hannover stammenden Architekten August Kelpe errichtet.