Das Anfang des 20. Jahrhunderts erbaute Gefängnis ist eines der ältesten in Litauen und orientiert sich am Panoptikum-Konzept des englischen Philosophen Jeremy Bentham. Ziel dieses Konzepts war es, Gebäude so zu gestalten, dass die Insassen jederzeit überwacht werden können, ohne zu wissen, wann sie beobachtet werden. Das sollte ihr Verhalten positiv beeinflussen. Tatsächlich ist aus diesem Gefängnis nie jemand entkommen, obwohl es einige der schlimmsten Verbrecher der damaligen Zeit beherbergte.

In seiner Zeit war es eines der modernsten und teuersten Gefängnisse des Russischen Reiches, zu dem Litauen damals gehörte. Es verfügte über eine eigene Wasserversorgung, Heizung und Belüftung, und die Zellen waren aus feuerfestem Material gebaut. Auf dem Gelände gab es Bäder, eine orthodoxe Kirche, eine katholische Kapelle und eine kleine Synagoge.

Ironischerweise wurde das einst fortschrittliche Gefängnis später wegen schlechter Bedingungen geschlossen. Heute ist es wieder öffentlich zugänglich und beherbergt Künstlerworkshops, Cafés, Tages- und Nachtführungen. Außerdem finden dort Konzerte und Dreharbeiten, wie zum Beispiel zur vierten Staffel der Netflix-Serie „Stranger Things“.