Über die Geschichte des Gebäudes ist nur wenig bekannt. Vermutlich wurde es zwischen dem 15. und 17. Jahrhunder erbaut. 1870 erwarb Zacharias Frank, ein Vorfahre Anne Franks, das Gebäude. Später kam es zu einer ehelichen Verbindung der Familie Frank mit der Familie Loeb. Ab 1939 wurde der jüdische Teil der deutschen Bevölkerung in Deutschland in sogenannten Judenhäusern „konzentriert“, um sie leichter kontrollieren und später auch deportieren zu können. Davon war auch die Familie Frank-Loeb betroffen, die enteignet und deren Gebäude zu einem sog. Judenhaus umfunktioniert wurde. Nach dem Zweiten Weltkrieg befand es sich zunächst in Privatbesitz, wurde jedoch 1987 an die Stadt verkauft und wird seitdem als Kunst- und Ausstellungsgebäude genutzt. Zudem befindet sich das Frank-Loeb-Institut und die Abteilung Politikwissenschaft des Instituts für Sozialwissenschaften der Universität Koblenz-Landau (Campus Landau) in diesem Gebäude. Heute erinnert eine Gedenktafel an die Geschichte des Hauses. Die Tafel trägt die Inschrift: „Frank-Loebsches-Haus Bau- und kunstgeschichtlich herausragendes Baudenkmal des 15. bis 17. Jahrhunderts. Ehemalige »Wirtschaft zur Blum«. Nach 1870 Wohnhaus der Urgroßeltern der Anne Frank. Heute Stätte der Begegnung und Erinnerung an die Verfolgung jüdischer Mitbürger 1933 bis 1945, feierlich eröffnet am 7. Mai 1987.“ Die Tafel wurde aufgrund geschichtlicher Ungenauigkeit mehrmals korrigiert und neu angebracht.