In Koblenz bestand eine bedeutende jüdische Gemeinde bereits im Mittelalter, die über zahlreiche Einrichtungen wie Synagoge, Friedhof und Spital verfügte. Die Gemeinde war von zahlreichen Verfolgungen in den Jahren 1281, 1287/88 betroffen. Im Zuge der der Pest-Pogrome 1348-1349 wurde die Gemeinde vernichtet. Ein paar Jahre später siedelten die ersten jüdischen Familien dort an, die wieder eine neue Gemeinde gründeten. Mit Unterbrechungen aufgrund von Verfolgungen und Ausweisungen lebten die Juden in Koblenz. So zählte beispielsweise im Jahr 1895 die jüdische Gemeinde 576 Personen, im Jahr 1925 ca. 800 Personen, was 1,4 % der Gesamtbevölkerung von 60.000 Personen ausmachte. Ab 1933 kam es zu den Auswanderungen aufgrund wirtschaftlichen Boykotts und einer zunehmenden Entrechtung.
Die ehemalige Synagoge wurde im Zuge des Novemberpogroms 1938 von SA- und SS-Leuten sowie der Gestapo zerstört. Das gleiche Schicksal erlitten auch 40 jüdische Häuser und 19 jüdische Läden. Etwa 100 Männer wurden in die Konzentrationslager Dachau und Buchenwald verschleppt, im Zuge dessen starben zwei von ihnen.
Nach einem Bombenangriff am 22. April 1944 bestand das Gebäude nur noch aus seinen Außenmauern. Am 14. November 1976 ist neben dem heutigen Haupteingang eine Gedenktafel eingeweiht worden. In der Jugendbücherei befand sich zudem ein Gedenkraum für die Opfer der NS-Herrschaft. Die dort ausgestellten Schautafeln, die über die Geschichte der Synagoge und die Biographien der Koblenzer Opfer des Dritten Reiches informieren, wurden nach der Schließung der Bibliothek dem Stadtarchiv Koblenz übergeben. Die Inschrift vor dem Eingang lautet: „Zur Erinnerung an die dort befindliche und in der Reichspogromnacht 1938 zerstörte Synagoge“. Eine vom Freundeskreis Koblenz-Petah-Tikva e.V. gestiftete Gedenktafel erzählt darüber hinaus die Geschichte der Gedenktafel.