Die Geschichte der jüdischen Gemeinde Ottweiler reicht bis in das frühe 18. Jahrhundert zurück. Zunächst existierte in der Gemeinde ein Betsaal, der erstmals im Jahr 1815 erwähnt wurde. Die Mitbürger Aaron Weiler und Aaron Albert erwarben 1803 einen Altbau an der Ecke des Schlosshofes, an dessen Stelle 1839/40 ein neues Synagogengebäude gebaut wurde.
Beim Novemberpogrom 1938 wurde das Gebäude durch den Kreisleiter, seinen Stab, zwei Gestapobeamte und weitere SA-Leute zerstört. Die Inneneinrichtung wurde hinausgetragen und am Abend mit musikalischer Begleitung verbrannt. Des Weiteren wurden die Fenster eingeworfen und die Ziegelsteine des Daches auf die Straße geworfen. Das Grundstück der Synagogenruine ging daraufhin in den Besitz der Gemeinde über. Die Ruine wurde 1963 zwecks Vergrößerung des Schlosshofes abgerissen. In den 1990er Jahren wurde ein Geschäftshaus an dieser Stelle errichtet, an dem eine Hinweistafel angebracht wurde. Hinter dem Haus befindet sich auch ein Denkmal in Form einer Metallplastik, das auf Steinen steht und die hochgezogene Form eines Davidsterns darstellt. Der Text auf dem Mahnmal lautet: „Zum Gedenken an das jüdische Gotteshaus Vom Rassenwahn verblendete Deutsche schändeten es 1938 Der Vernichtung der Synagogen folgte der Mord am jüdischen Volk Sich erinnern bringt Erlösung Verdrängen hält die Erlösung auf.“ Im Jahr 2018 wurden die Grundmauern der Synagoge durch Granitpflaster abgebildet.