Bereits 1328 wird ein Jude als Bewohner der Gemeinde Zell genannt. 1849 erwarb die israelitische Gemeinde Briedel-Zell einen Teil des Schlosses Zell und richtete dort die Synagoge ein. Als die jüdische Gemeinde während der folgenden Jahre immer weiter anwuchs, wurde mit dem Bau einer neuen Synagoge begonnen, die jedoch aufgrund des Beginns des Ersten Weltkriegs nicht fertiggestellt werden konnte. Stattdessen wurde in den 1920er Jahren die alte Synagoge im Schloss weiter ausgebaut und von der jüdischen Gemeinde genutzt. Während des Novemberpogroms 1938 wurde die Synagoge zerstört, allerdings aus Furcht vor einem Brand im restlichen Schloss nicht angezündet. Anschließend war die jüdische Gemeinde gezwungen, die Räumlichkeiten für 1000 RM an den Schlossbesitzer zu verkaufen. Nach dem Ende des Krieges kulminierten die Bemühungen von Anwohnern, die ehemaligen Räumlichkeiten der Synagoge als Denkmal zu erhalten, 2003 in der Neueröffnung als Gedenkstätte.