Am Südhang des Burgbergs befindet sich der alte jüdische Friedhof. Auf dem Friedhof sind 55 Grabstätten erkennbar. Davon sind 47 durch Grabsteine teils in hebräischer und deutscher Inschrift gekennzeichnet. Achtzehn meist kleinere Steine sind in zwei Bögen angeordnet. Neunundzwanzig weitere Grabsteine stehen in vier Reihen. Es müssen aber hier viel mehr Grablegungen stattgefunden haben, da einige erkennbare Hügel keine Grabsteine tragen und Trümmer von zerbrochenen Steinen am Rande des Friedhofs liegen. Nach den Aufzeichnungen der jüdischen Gemeinde müssen seit 1761 - so alt ist der Friedhof mindestens - etwa 170 Personen aus Schwalenberg und den umliegenden Dörfern hier bestattet worden sein. (*) Ob die Steine wirklich die Grabstelle der Personen bezeichnet, deren Namen darauf stehen, kann auch bezweifelt werden.

(*) Brillig, B.: "Die jüdischen Gemeinden" in Kirchen und Religionsgemeinschaften der Provinz Westfalen, Beiträge zur Geschichte der preußischen Provinz Westfalen, BD 2, Münster 1978