Manastir Lipovac podignut je u četrnaetom veku, kod stene Leskovik, od prilike oko 1370. godine. Na mestu gde je danas manastir Lipovac nalazio se grad ( poznatiji kao Lipovački grad ), pa je lokalni plemić, koji je vladao tim utvrđenjem, napravio crkvu u okviru svog imanja.. Crkva će dve, tri decenije kasnije biti pretvorena u manastir,zahvaljujući monahu Germanu,kneginji Milici i njenim sinovima Stevanu i Vuku-Lazarevićima.
Ne zna se puno o dotičnom plemiću i ktitoru manastira, ali i on i njegova porodica, sahranjeni su na imanju manastira. Veruje se da ih je pokosila neka bolest, pa se vremenom loza ugasila. U manastiru su vršena arheološka istraživanja, s obzirom da je očuvano osam bogatih grobnica. U jednoj od njih počiva i petnaestogodišnji dečak, kojem je obučen vlastelinski pojas. Taj pojas se prenosio sa kolena na koleno, a s obzirom da je dečak sahranjen sa njim, dolazimo do zaključka da je on poslednji potomak ktitorske porodice.
Najnovija istraživanja spominju da je najverovatnije vlastelin bio Vitomir gospodar Lipovačkog krajišta koje je bilo na granici ka Vizantiji i da je on zajedno sa vojvodom Crepom Vukoslavićem porazio Turke oko 1380 kod tvrdjave Petrič danas okolina Paraćina.
