Slottet har tillhört den Banérska släkten i 300 år. I källaren ska en elak inspektor en gång ha låst in en hjonpojke, Nisse, som sedan blev kvarglömd där, källarvalvet kallas Nisses håla. Den ihjälsvultne pojken sägs spöka på slottet. Flera personer har försökt öppna det numera igenmurade valvet för att avlägsna hans lik, men de har alla drabbats av olyckor eller svåra sjukdomar och fortfarande finns Nisses kropp kvar i hålan.