W 1972 roku grupa młodych ludzi z Wrocławia wędrowała po chrzanowskiej ziemi. Pewnego dnia rozbili swój obóz na łące, w pobliżu bukowego lasu porastającego wzgórze obronnego zamku – Lipowiec. Noc była ciepła i jasna, postanowili więc wspiąć się na wzgórze i zobaczyć zamek w blasku księżyca. Kiedy doszli prawie do murów, poczuli chłodny powiew wiatru, usłyszeli szum liści, a na drodze za nimi pojawiła się szybko jadąca pod górę kareta, zaprzężona w trzy pary koni. Zdumieni tym, że pojazd porusza się zbyt szybko jak na wyboistą i stromą drogę, usunęli się na pobocze. Kiedy kareta przemknęła obok nich, przestraszyli się, ponieważ nie było słychać turkotu kół ani tętentu końskich kopyt. Uciekli prędko i schronili się w namiocie. Z innych przekazów wiadomo, że karetą na zamek przyjeżdżał biskup w purpurze i dostojnym krokiem wchodził do zamku.
W historii lipowieckiej twierdzy było wiele wydarzeń mogących tłumaczyć pojawienie się karety – widma.
Kasztel zbudował biskup Jan Prandota i od tego czasu należał on do dóbr kościelnych. Od XV wieku warownia służyła jako więzienie dla kacerzy, trzymanych w celach wieży więziennej. Pod wieżą znajdował się loch, do którego spuszczano więźniów skazanych na śmierć głodową.
W czasach reformacji pokutował tu za swe poglądy Włoch z Mantui, Franciszek Stankar. Według tradycji, był to jedyny skazaniec, któremu udało się zbiec z więzienia. Ucieczkę ułatwiła mu zakochana w nim córka dozorcy.
W XVIII wieku, kiedy spory doby reformacji ucichły, cele zapełniali inni więźniowie. Skazani, nie za poglądy, a za sprzeniewierzenie się regułom duchownego stanu.
Któryś z nich namalował na ścianie celi postać mnicha, a obok niego dwa złączone serca (to wyblakłe malowidło można było jeszcze oglądać na początku XX wieku. Zwykle po odprawieniu rekolekcji i kilkumiesięcznej pokuty romansujący mnisi i księża opuszczali Lipowiec.
oprac. MP, na podstawie: Duchy Polskie, Bogna Wernichowska, Maciej Kozłowski, Warszawa 1985 wyd. II