Rezidencija Vilniuje
"Aš daug ir sunkiai dirbau visą gyvenimą. Žinoma, daug uždirbau, bet niekad netaupiau, o tik visą laiką norėjau gražiai gyventi, sukurti jaukius ir mielus namus savo šeimai ir dažnai besisvečiuojantiems draugams," - sakė 84-erių metų Dr.Juozas P. Kazickas 2002 m. Pirmas pasiūlymas vyrui buvo ponios Aleksandros: nupirkti Vilniuje namą, įrengti jame jo medžioklės trofėjų muziejų ir kino salę šviečiamajai veiklai. Ieškant vietos pastatui, ypatingus prisiminimus apie studijų laiką Viliniaus Universitete ir kalėdinį pasimatymą su būsima žmona Aleksandra prikėlė šv. Jono gatvė. Dr. J. P. Kazickas, dalyvaudamas Lietuvos visuomeniniame gyvenime bei susipažinęs su turtingu XIX a. Lietuvos dvarų ir miestų rezidencijų paveldu, savąją rezidenciją Vilniuje nusprendė įsirengti šiai senamiesčio vietai būdingų Lietuvos didikų rūmų kultūros dvasia.
Sumanydamas įkurti Kazickų Šeimos Fondą, Dr. J. P.Kazickas stengėsi įdiegti vaikams tvirtą šeimos ryšio pojūtį, kokį buvo paveldėjęs iš savo tėvų. Dr. J. P.Kazickas norėjo, kad Kazickų Šeimos Fondas būtų jų vaikus ir vaikaičius vienijantis rūpestis ir tiltas į Lietuvą. Fondo Vilniaus biuras yra pastate šalia Kazickų Rezidencijos, į kurią kaip į Lietuvos namus sugrįžta Kazickų vaikai ir vaikaičiai. 2001 m. rugpjūčio 15 d. švęsti Aleksandros ir Juozo Kazickų deimantines vestuves, jungtuvių šešiasdešimtą sukaktį, į šiuos namus susirinko Kazickų 21 nario šeima bei per šimtą jų draugų iš JAV, Vakarų Europos ir net Australijos.
Troškimas prisidėti prie Vilniaus senamiesčio gražinimo ir skatino Dr. Kazicką negailėti pinigų, kuriant namo interjerą, tvarkant pastato išorę, aplinką ir sodelį. Juozas Kazickas norėjo, kad namas skoningai priglustų prie Senamiesčio aplinkos ir papuoštų tą kiek apleistą vietą, kurioje kadaise buvo kardinolo Jurgio Radvilos rūmų teritorija. Dr. Kazickas jautėsi, kad atiduoda seną skolą Vilniui, studijų, jaunystės ir meilės miestui, kartu ir skolą Lietuvai.