Seine Geschichte reicht weit über die Zeit des Immerwährenden Reichstags bis ins späte Mittelalter zurück.
Das Gebäude wurde in den Jahren 1597/98 als Getreidespeicher errichtet. Missernten, Kriegsgefahren und politische Erwägungen hatten die Stadt veranlasst, einen weiteren Vorratsspeicher für Getreide zu errichten. Der erwies sich aber schnell wieder als zu klein, weshalb in den Jahren 1606/07 der Erweiterungsbau folgte. Dem musste ein kleineres Getreidemagazin weichen. Dessen Name, „Leere Beutel“. ging an das imposante, und bis heute bestens erhaltene, Bauwerk über.
Schon seit den 1960er Jahren gab es Bestrebungen, den Leeren Beutel zu sanieren und für kulturelle Zwecke zu nutzen. Nach einem Ideen-Wettbewerb in den Jahren 1975/76 wurde die Sanierung beauftragt und nach zweijähriger Bauzeit 1980 abgeschlossen. Damit konnte eines der markantesten historischen Bauwerke der ehemaligen freien Reichstadt erhalten und seiner neuen Bestimmung als Galeriegebäude und Kulturzentrum übergeben werden.
Wie vom Architekten vorgesehen, finden sich darin ein Mehrzweckraum für größere Veranstaltungen (Historischer Festsaal) und mehrere Galerieräume, die sowohl für Wechselausstellungen, als auch für eine Dauerausstellung nutzbar sind. Außerdem gibt es im Leeren Beutel Räumlichkeiten für Lichtbild- und Filmvorführungen sowie ein stilvolles Restaurant „Zum Leeren Beutel“.
Das 54 Meter lange und 21m breite Gebäude verfügt über sieben Geschosse, drei im offenen Mauerwerk, vier im sog. Kehlbalkendachstuhl. Die offenen Balken- und Steinstrukturen sind im gesamten Haus zu bewundern und geben dem Leeren Beutel sein unverwechselbares Ambiente.