Ruiny zamku Lipowiec piętrzą się na szczycie skalistego wzgórza porośniętego starym, bukowym lasem, górując nad wsią Babice i znajdującym się u jego stóp Nadwiślańskim Parkiem Etnograficznym w Wygiełzowie. Ruiny te są interesujące nie tylko z uwagi na walory historyczne i krajobrazowe, ale są również interesującym przykładem średniowiecznego budownictwa militarnego.
Zamek został prawdopodobnie wzniesiony na dawniejszym grodzisku, świadczy o tym między innymi ukształtowanie terenu.
W 1967 roku przeprowadzono badania, które miały na celu odnalezienie śladów najstarszego osadnictwa na terenie zamku. wykopy przeprowadzone w okolicy zamkowej wieży nie przyniosły jednak potwierdzenia wcześniejszego istnienia budowli w tym miejscu. Badania archeologiczne w okolicy bramy zamku również nie przyniosły odnalezienia zabytków starszych niż trzynastowieczne.
Teren, na którym wzniesiono zamek, przed połową XIII wieku należał do małopolskiego rodu rycerskiego Gryfitów. Po roku 1243 Lipowiec wszedł w skład małopolskich dóbr biskupstwa krakowskiego.W pierwszym dziesięcioleciu XIV wieku zamek był w posiadaniu Jana Muskaty piastującego godność biskupa krakowskiego od 1295 roku.
W XV wieku zamek był rozbudowywany. Wieża została nadbudowana o dwie kondygnacje mieszczące działobitnie. Obok funkcji zamku granicznego i okresowej rezydencji biskupów krakowskich, pełnił także rolę więzienia. Więziono tam osoby podległe jurysdykcji duchownej na terenie diecezji krakowskiej. Na polecenie biskupa Oleśnickiego, w 1437 roku, w lochu wieży zamknięto zbrodniczego opata Mikołaja z Buska.
Za czasów biskupa Jana Konarskiego, w 1440 roku zostali tutaj uwięzieni bracia z zakonu Franciszkanów w Krakowie za zabójstwo Alberta Fontiniego, komisarza franciszkańskiej prowincji czesko-polskiej. Obok duchownych odpowiadających za przekroczenia prawa kanonicznego, więziono tu równiż propagatorów i zwolenników szerzącego się gwałtownie w Polsce ruchu reformy religijnej. Więziony w zamku Franciszek Stankar, profesor Akademii Krakowskiej, zdołał z niego zbiec posługując się sznurem plecionym z chustek.
W szesnastym stuleciu wzrosła rola Lipowca jako więzienia. Dokonana zostła także kolejna rozbudowa, powstał narożny bastion oraz mur ze strzelnicami wokół podzamcza. W sierpniu 1629 roku pożar zniszczył drewnianą zabudowę i warownię. Ślady pożaru odkryto w czasie badań archeologicznych prowadzonych w 1967 roku.
W latach czterdziestych XVI wieku, biskup Zadzik podjął częściową odbudowę zamku. W okresie tym zamek przestał być siedzibą biskupów krakowskich. W połowie XVII stulecia na zamek najechali Szwedzi. W dzień po kapitulacji Krakowa, 9 października 1655 roku, generał Wirtz zajął Lipowiec. Po dwóch latach, w lecie 1657 roku, Szwedzi ustąpili z Lipowca.
W XVIII wieku zamek popadał w ruinę. Biskup Felicjan Szaniawski zalecił podjęcie odbudowy aktem erekcyjnym z kwietnia 1732 roku, przeznaczając zamek na dom poprawy dla duchownych. Odbudowę dokończył w połowie wieku biskup Andrzej Załuski. W 1789 roku, po śmierci biskupa Kajetana Sołtyka, władze austriackie, na mocy reformy cesarza Józefa II, przejęły klucz dóbr lipowieckich wraz z zamkiem na rzecz skarbu państwa.
Około 1800 roku pożar strawił dachy naruszając poważnie mury najwyższej kondygnacji, a także poważnie uszkodził wnętrza. Od lat czterdziestych XIX wieku zamek całkowicie niezamieszkały ulegał stałemu niszczeniu i przetrwał w stanie daleko posuniętej ruiny aż do połowy lat pięćdziesiątych XX wieku. Po drugiej wojnie światowej zamek uznano za obiekt zabytkowy podlegający ochronie, znalazł swoje miejsce w Katalogu Zabytków Sztuki w Polsce wydanym w 1953 roku. Stan zamku przedstawiał się wtedy następująco: ,,(...) Murowany z kamienia i cegły. (...) Główny korpus zamku dwupiętrowy zgrupowany dokoła pięciobocznego, niemiarowego dziedzińca. Na parterze jednotraktowym, izby sklepione; od wsch. wjazd przez obszerną sień i węższą sionkę;po bokach sieni na prawo duża izba, na lewo dwubiegowa klatka schodowa (...) Dolna kondygnacja głęboka i ciemna z otworem pośrodku sklepienia, służącym do spuszczania więźniow; (...) Zamek właściwy otoczony od pd., zach. i pn. chodnikiem straży zamkniętym niskimi murami z otworami strzelniczymi, mur zach. załamany w rodzaj bastionów ze strzelnicami (...)” .
W 1961 roku ówczesny Wojewódzki Konserwator Zabytków w Krakowie podjął decyzję o konserwacji Lipowca w formie trwałej ruiny i przystosowania go do turystycznego zwiedzania. Prace trwały do początku lat siedemdziesiątych (Zinkow, 1974, s. 39). Obecnie zamek stanowi oddział Muzeum w Chrzanowie.

na podst. broszury Teresy Małkowskiej-Holcerowej ,,Lipowiec dawny zamek bikupów krakowskich” oraz materiałów z Muzeum w Chrzanowie