Slottet, som numera är en ruin ska ha byggts med hin håles hjälp sägs det och här finns inte mindre än fem spöken. En stor svart hund, djävulen själv, som visar sig på ägorna. Den som ser hunden blir svårt sjuk. Vita frun var en skön jungfru som försökte fly från slottet med en spelman från trakten, men de upptäcktes och spelmannen jagades därifrån och drunknade i en dysjö i närheten. På torsdagskvällarna syns hon skrida fram i den gamla kyrksalen sörjande sin käraste. En blå jungfru kan också visa sig i det ena vakttornet, en kvinnogestalt med ångerfull blick. Hon ska ha varit en orientalisk prinsessa som rövats till slottet av den grymme riddaren Myre, som senare i svartsjuka dödar prinsessan. Själv blev han så ångerfull att han gick i kloster. En munkgestalt kan ibland vara synlig på slottet. Slutligen spökar också en svartklädd kvinna på Mörby, också hon drabbades av olycklig kärlek.