Seit dem 16. Jahrhundert lebten in Rheineck jüdische Familien. Der Friedhof wurde im 16. Jahrhundert im Wald am Fuß der Burg Rheineck angelegt. Bis zum Jahr 1878 nutzte ihn die jüdische Gemeinde für Bestattungen. Von den 27 bis heute erhaltenen Grabsteinen lässt sich der älteste auf das Jahr 1621 rückdatieren. Im Jahr 1832 ging die Burg in den Besitz des Bonner Universitätsprofessors und späteren preußischen Kultusminister Moritz August von Bethmann-Hollweg über. Dieser bot der jüdischen Gemeinde 150 Mark an, damit diese ein weiteres Grundstück kaufen könne, um einen neuen Friedhof anzulegen. Die jüdische Gemeinde lehnte jedoch ab, sodass Bethmann-Hollweg die Belegung und weitere Besuche durch die Gemeinde akzeptieren musste. Im Jahr 1878 legte die Gemeinde allerdings einen neuen Friedhof nördlich von Bad Breisig an.
Als 1979 die Burg erneut ihren Besitzer wechselte, wurde trotz des ausdrücklichen Protests der jüdischen Gemeinde Koblenz ein Sicherungszaun durch den Friedhof gezogen. Daraufhin sind die noch erhalten gebliebenen Grabsteine auf den neuen Friedhof in Bad Breisig versetzt worden, sodass nur zwei Grabsteine auf dem Gelände des ursprünglichen Friedhofs verblieben: 1719 wurde das in zwei Hälften zerbrochene Grabmal für die Verstorbene Frau Hitzel umgebettet und zuletzt, im Jahr 1873, der Gedenkstein des Musikers David Berg. 1987 konnte die Umbettung jedoch durch die Initiative des rumänisch-deutschen Bildhauers jüdischer Herkunft Ladis Schwartz dank kirchlicher Unterstützung rückgängig gemacht werden.