Nachweise über die jüdische Gemeinde in Trier lassen sich bis in die Antike zurückverfolgen. Phasen der Vertreibung der jüdischen Gemeinde wechselten sich mit Phasen der Ansiedlung ab. Da die jüdische Gemeinde im 16. Jahrhundert stark angewachsen war, bestand die Notwendigkeit einer Friedhofsanlage. 1651/1652 wurde der Friedhof auf einem neu gekauften Grundstück außerhalb des Stadttors angelegt.
Im Laufe der Zeit ist der Friedhof von 1066 Quadratmetern auf die heutige Größe von 3481 Quadratmetern erweitert worden. 1922 wurde der Friedhof geschlossen und es wurden keine Bestattungen mehr durchgeführt. Aufgrund des Platzmangels entschloss sich die jüdische Gemeinde dazu, den Friedhof auf das Areal des Städtischen Friedhofs zu verlegen. Während des Nationalsozialismus blieb der Friedhof unangetastet. Der alte jüdische Friedhof enthält ca. 140 Grabsteine im alten und ca. 400 im neuen Teil des Friedhofs. Es gibt viele denkmalwürdige Grabsteine, u.a. das Grab der Großeltern von Karl Marx. Diese Gräber stehen seit 1973 unter Denkmalschutz.