Nakon što je Josip II ukinuo pavlinski red 1786. godine, država preuzima imovinu samostana. Zbog pretrpljenih gubitaka u turskim pljačkama, lepoglavski samostan je dodijeljen Čazmanskom kaptolu koji je sjedište imao u Varaždinu. Zbog nedostatka sredstava za održavanje samostana, Čazmanski kaptol sklapa ugovor s Državnim erarom i predaje mu samostan. Država je odmah počela s preuređenjem samostana u zatvor koji je s radom započeo 1854 kao muški zatvor.
Neposredno prije I. svjetskog rata 1914. godine, izgrađena je zgrada nove kaznionice. Izgrađena je u obliku zvijezde uz sjeveroistočni dio samostana prema tada najmodernijem, irskom modelu, te je rani primjer nastojanja humaniziranja izdržavanja kazni. Za vrijeme Austro-Ugarske monarhije postojao je plan za izgradnju nove zatvorske zgrade, ali je s propašću Austro-Ugarske i dolaskom starojugoslavenskog režima 1918. godine Lepoglava pretvorena u zloglasni logor za političke protivnike. Između dva rata u Lepoglavi su kazne izdržavali mnoge znamenite političke ličnosti među kojima su najpoznatiji Josip Broz, Moša Pijade, Rodoljub Čolaković i dr.
Nakon kapitulacije Kraljevine Jugoslavije 1941. godine kaznionica je pala pod vlast Nezavisne države Hrvatske. Kaznionicu su 1943. godine preuzeli ustaše i pretvorili u logor. Iste godine partizani oslobađaju logoraše, pri čemu je došlo do oštećenja zatvorske zgrade i samostanskog zdanja. U borbama je zapaljena stara i nova kaznionica, a izgorjela je i arhiva zatvora.
Još teža oštećenja kaznionica je doživjela 1945. godine prilikom povlačenja Nijemaca i ustaša koji su tada uništili veću količinu streljiva koje se nalazilo u kamionima ispred samostana i crkve, te u željezničkim vagonima koji su se nalazili na pruzi Lepoglava – Golubovec, zapadno od samostana. Tada je gotovo u potpunosti srušeno zapadno krilo samostana, a veća je oštećenja zadobila i centralna zgrada nove kaznionice – zvijezde, čija je obnova počela 1946. godine. I nakon II. svjetskog rata Lepoglava ostaje kaznionica za političke neistomišljenike.
Potkraj 1946. godine nakon montiranog sudskog procesa u Lepoglavu na izdržavanje šesnaestogodišnje kazne dolazi zagrebački nadbiskup Alojzije Stepinac. U Lepoglavi je ostao sve do kraja 1951. godine kada je premješten u kućni pritvor u rodni Krašić.
Sedamdesetih godina prošloga stoljeća u Lepoglavi su robijali mnogi istaknuti članovi Hrvatskog proljeća, a među njima bili su Šime Đodan, Dražen Budiša, Hrvoje Šošić, Marko Veselica i Franjo Tuđman.
