Die Synagoge wurde zwischen 1911 und 1912 nach den Plänen von Ignaz Opfermann gebaut. Während des Novemberpogroms am 10.11.1938 wurde die Synagoge angezündet und nur wenige Tage später gesprengt. Übrig vom Gebäude blieben nur Fragmente, die 1988 als Baudenkmal in der Hindenburgstraße 44, heute Synagogenplatz, aufgestellt und im Zuge des Synagogenneubaus 2010 restauriert wurden. Die Inschrift der Gedenktafel lautet: „Zur Mahnung, zum Denken. Hier stand die Hauptsynagoge der Jüdischen Gemeinde in Mainz erbaut 1911-1912. In der Nacht zum 10. November 1938 wurde die Synagoge von den Nationalsozialisten geplündert und in Brand gesetzt, die Reste anschließend gesprengt.“ Die Synagoge wurde so sehr von den Nationalsozialisten zerstört, dass keine Mauern mehr standen. Reste des ehemaligen Säulenvorhofes der Hauptsynagoge wurden 1988 wiedergefunden und zum 50. Jahrestag der Zerstörung wieder aufgestellt.