Die Ursprünge der jüdischen Gemeinde in Luxemburg reichen bis ins Jahr 1276 zurück. Trotz der Pogrome lebten die Juden in Luxemburg mit Unterbrechungen bis zum Jahr 1530, bis sie dauerhaft vertrieben wurden. Erst im 18. Jahrhundert durften die jüdischen Mitbürgerinnen und Mitbürger sich wieder in Luxemburg niederlassen. Im Jahr 1815 hat Luxemburg im Zuge des Wiener Kongresses den Status eines selbstständigen Herzogtums erhalten. In Jahr 1823 baute die jüdische Gemeinde die erste Synagoge. Aufgrund des Zuwachses an Gemeindemitgliedern bedurfte es einer größeren Synagoge.

Die jüdische Gemeinde in Luxemburg hatte Probleme die erste Synagoge in der Rue du Seminaire zu finanzieren, zwar gewährte der Stadtrat eine kleine finanzielle Unterstützung, allerdings reichte dies nicht aus um die gesamten Kosten zu decken.  Diese Synagoge, auch wenn sie von ihrer Erscheinung als insignifikant beschrieben wurde, wurde nicht nur von den in der  Hauptstadt lebenden Juden besucht, sondern auch von Landjuden, aufgrund er Tatsache, dass es für die Juden auf dem Land oft nicht möglich war, die notwendige Anzahl männlicher Teilnehmer zu erfüllen, welche laut jüdischen Vorschriften vonnöten war, um einen Gottesdienst abzuhalten.  Diese Synagoge reichte nicht mehr aus, da die jüdische Bevölkerung in Luxemburg sehr stark anstieg, wurde die Initiative ergriffen eine neue Synagoge zu bauen.  Grund für diesen Anstieg der jüdischen Bevölkerung war der Deutsch-Französische Krieg, welcher von 1870 bis 1871 dauerte, Luxemburg wurde ein Zufluchtsort für Juden aus dem Elsass und Lothringen.  Logischerweise wuchs auch die Zahl der Israeliten.  1885 gab es ungefähr 866 Israeliten(Juden) im ganzen Land, 1890 waren es schon über 1000.  Die jüdischen Gemeinde machte ein Angebot, sie wollte die alte Synagoge abtreten und ihm Gegenzug ein neues Grundstück und eine Subvention vom Staat erhalten, um damit den Neubau zu finanzieren.  Die alte Synagoge wurde anschließend für 20.000 Francs an die katholische Schwestergemeinschaft (Soeurs de Notre-Dame) abgegeben. Als Architekt wurde Ludwig Levy gewählt, dieser war für die Baupläne verantwortlich und wurde vom Luxemburger Architekten Charles Arendt kontrolliert.  Der Bauprozess der neuen Synagoge war sehr aufwendig, aber es wurde auch wichtige Diskussionen in den Raum geworfen.  Es wurde sich nämlich die Frage gestellt, ob der luxemburgische Staat verpflichtet sei Juden eine Institution für die Praktizierung ihres Glaubens zu gewährleisten.  Auch wurde die Verhältnismäßigkeit zwischen den Kosten in Relation zu der Anzahl der in Luxemburg lebenden Juden in Frage gestellt. Es war laut Verfassung von 1848 garantiert seine Religion frei auszuüben, auch wurden Rabbiner vom Staat bezahlt. Allerdings gab es ihm Gegensatz zu Frankreich keinen Anspruch das Judentum mit dem katholischen Christentum gleichzustellen.  Diese Verhandlungen verliefen über ein Jahrzehnt, aber der Staat erklärte sich schlussendlich bereit einen Zuschuss von 15.000 Francs zur Verfügung zu stellen. In den Medien wurde diese Entscheidung jedoch nicht immer begrüßt.  So kritisierte das Luxemburger Wort  diese große Summe an Geld und  hielt sie für unverhältnismäßig, hierbei ist anzumerken, dass das Luxemburger Wort hauptsächlich an ein katholisches Publikum gerichtet ist, folgerichtig wurde in dieser Zeitschrift auch eine Meinung vertreten, welche anscheinend genau jenes Publikum vertreten soll.  Man muss aber bedenken, dass die Synagoge trotz der teilweisen Subventionierung des Staates, großenteils von der jüdischen Gemeinde selbst bezahlt wurde.  Schließlich wurde die Synagoge am 29. September 1894 eingeweiht.  Wichtig ist bei der neuen Synagoge anzumerken, dass diese deutlich mehr im Ortsbild auffiel.  Sie wird sogar als einen der schönsten Plätze der Stadt beschrieben. Der Baustil der Synagoge  ist neo-orientalisch geprägt. Sie stand im Winkel zwischen der Rue Aldringen und der Rue Notre-Dame. Die sogenannte „Große Synagoge“ wurde im Jahr 1894 in Luxemburg-Stadt nach Entwurf der Architekten Ludwig Levy und Charles Arendt im orientalischen Stil erbaut. Die Einweihung fand am 28. September 1894 statt und wurde von dem Rabbiner Dr. Isaak Blumenstein durchgeführt.

Nach der Besetzung Luxemburgs von der deutschen Wehrmacht am 10. Mai 1940 verließen noch in der gleichen Nacht rund 2000 Juden das Großherzogtum und flohen nach Frankreich und Belgien. Nach der Ernennung des Gauleiter Gustav Simons zum „Chef der deutschen Zivilverwaltung“ in Luxemburg verschlimmerte sich die Situation für die im Großherzogtum verbliebenen Juden nochmal drastisch. Mit seinem Ziel von einem „judenfreien“ Luxemburg vor Augen, sorgte er in seiner Machtposition vermehrt dafür, dass der jüdische Bevölkerungsteil zum Auswandern gezwungen wird.  Am 5. September 1940 wurden die „Nürnberger Rassengesetze“ eingeführt. Ca. 300 jüdische Unternehmen und Geschäfte sind in der Folge beschlagnahmt und an „Arier“ übereignet worden. Im Oktober 1940 wurde der „gelber Stern“ eingeführt. Im Juni 1941 verordnete er den Abriss der Synagogen in Luxemburg und Esch-Alzette. Am Freitag, den 9. Mai 1941, wurde die Synagoge in Luxemburg während des Gottesdienstes angegriffen und geplündert. Erst im Jahr 1943 ist das Gebäude abgerissen worden, da die luxemburgischen Unternehmen wenig Interesse an einem solchen Auftrag gezeigt hatten. Schließlich bot sich die Firma Lucius an, diese Arbeit für 21.000 RM zu erledigen. Am 23.11.1988 wurde an der Fassade des heutigen Unterrichtsministeriums eine Gedenktafel mit der folgenden Inschrift angebracht:
„A cet endroit se dressait la Synagoge de Luxemburg
Profane et detruit par l’envahisseur nazi (1941-1943)
Souviens-toi“
Am 9. November 2018, zum 80. Jahrestag des Novemberpogroms, ist vom luxemburgischen Premierminister Xavier Bettel eine Erinnerungstafel enthüllt worden, die vier Photographien der Synagoge zeigt und in luxemburgischer, französischer und englischer Sprache über deren Geschichte informiert.