Ab dem 17. Jahrhundert lebten Juden in Merzig. Der jüdische Friedhof ist 1748 angelegt worden, nachdem die Toten der jüdischen Gemeinde zuvor im benachbarten Freudenburg begraben wurden. In der NS-Zeit ist der Friedhof verwüstet und die Grabsteine sind vollständig abgeräumt worden. Der Gedenkstein wurde auf Initiative der Synagogengemeinde Saar im Jahr 1949 aufgestellt. Die Inschrift auf dem Gedenkstein lautet: „Unseren in dieser Erde ruhenden Brüdern und Schwestern zur ehrenden Erinnerung – Synagogengemeinde Saar“.