Von April 1990 bis Mai 1993 wurde von einer Initaitive um Josef Gerz auf dem Saarbrücker Schlossplatz das Mahnmal realisiert. Alle 66 jüdischen Gemeinden der Bundesrepublik und der DDR wurden eingeladen, die Listen ihrer Friedhöfe zur Verfügung zu stellen. Insgesamt wurde eine Liste mit 2146 Friedhöfen, die bis zum Jahr 1933 bestanden hatten, erstellt. Die Namen wurden in die dunklen Pflastersteine des Mittelstreifens des Schlossplatzes eingefräst und im Boden versenkt. Das Saarbrücker Schloss war seit 1935 ein Sitz der Gestapo. Im Keller waren Kerkerzellen für politische Gegner eingerichtet. Der Schlossplatz selbst diente im Oktober 1940 als Sammelstelle für 134 saarländische Juden, die in das Lager Gurs in Südfrankreich deportiert wurden.