Taj dio je prigrađen u podzemnom dijelu, desno od originalnih podruma, jer ništa nije smjelo remetiti sliku originalnog zdanja, a nad bazenom i parkiralištem je travnata površina, koja ničim ne odaje postojanje suvremenih podzemnih sadržaja. "U skladu s originalnim Kulmerovim podrumom, obnovljeni su karakteristični bačvasti svodovi, a na gornjim etažama nastojali smo zadržati povijesno zadanu debljinu zidova od 60-ak centimetara, ali u suvremenom materijalu - šupljoj blok opeci", objasnio je Kincl.
Kako je objasnio inženjer građevinrstva Tonći Kriste, koordinator projekta obnove Kulmerovog dvorca, Agrokor je kupio imanje s palačom još 1999. godine, zatim je trebalo ishoditi sve potrebne dozvole, očistiti zemljište od olupina i zatim pričekati završetak arheoloških istraživanja, jer se očekivalo da bi se na tom mjestu mogli pronaći ostaci pretpovijesnih ili nekih drugih naselja. No, pronađeni su samo originalni gabariti renesansne jezgre dvorca iz 16. stoljeća, kada se u njega uselio nakon velikog potresa vlastelin Stjepko Gregorijanac, tadašnjeg stanovnik Medvedgrada.
U projekt obnove od početka je bio uključen Gradski zavod za zaštitu spomenika kulture i prirode na čelu s konzervatotom Silvijem Novakom, čiji su eksperti budno pazili na sve detalje rekonstrukcije dvorca. Prema riječima Silvija Novaka, dvorac se obnavljao prema najstarijem grafičkom prikazu dvorca Kulmer, koji potječe iz prve polovice 19. stoljeća i pokazuje kuriju prije neorenesansne pregradnje.
Zatim su se oslanjali na izvještaj i 20-ak fotografija i skica, koje je prikupila konzervatorica Anđela Horvat 1946. godine, a zatim je osam godina kasnije materijale nadopunila Štefica Habunek. Ti materijali predstavljali su jedini izvor za izučavanje nekadašnjeg vanjskog izgleda, interijera i prošlosti dvorca. "Dvorac nije bilo lako restaurirati, jer su ga različiti vlasnici tokom četiri stoljeća nekoliko puta pregrađivali, a o njegovoj arhitekturi zapravo ne postoji kompletna dokumentacija", objasnio je Novak.
Nakon Gregorijanca, u dvorac se u 17. stoljeću uselio Petar grof Zrinski, koji je dogradio zdanje u kasnorenesansnom stilu o čemu svjedoči spomen ploča iz 1667. godine, koja je kasnije uzidana u noviji zid stubišta. Novak je rekao da je najmlađi dio dvorca zapadni trakt, nadsvođen baldahinskim svodovima, koji je vjerojatno prigrađen u 18. ili čak početkom 19. stoljeća. Pretpostavljalo se da je to bio gospodarski dio s kuhinjom i stubištem.
Dvorac je konačni neorenesansni izgled dobio nakon velikog potresa u Zagrebu 1881. godine što se najbolje vidi po fasadi i zabatima na očuvanim fotografijama. Za obnovu, posebno interijera, bile su važne i fotografije koje je prikupio i objavio arhitekt i urbanist Mladen Obad - Šćitaroci. Na njima su vidljive bijele klasicističke peći i namještaj staronjemačke renesanse za koji se pretpostavlja da je bio nabavljen potkraj 19. stoljeća.
Novak je sa žaljenjem ispričao kako ne postoji ni dokumentacija o kapelici, dijelu imanja, iz koje je čudom spašena Bogorodica s djetetom, a ni jedna fotografija ne prikazuje strop tako da se ne zna jesu li bili ukrašeni štukaturama. Anđela Horvat je spomenula u svom izvještaju iz 1946. godine freske iz 18. stoljeća, koje su bile u glavnoj dvorani na katu, a prikazivale su tropsku vegetaciju i Indijance.
"Na jednoj od fotografija razabire se prikaz majmuna na palmi, motiv poznat iz Vrhovčeve masonske lože u Vlaškoj ulici, koja je bila oslikana potkraj 18. stoljeća", rekao je Novak. Požar i eksplozija municije potkraj Drugog svjetskog rata izazvali su toliko razorna oštećenja dvorca da su se zidovi potkraj pedesetih posve srušili, istodobno kada se srušio posljednji zid branič kule Medvedgrada. Od nekad lijepog dvorca ostali su samo temelji.
Vlasnici dvorca u Šestinama Dvorac je često mijenjao vlasnike. Povijesni izvori kažu da se vlastelin Stjepko Gregorijanec, tadašnji vlasnik Medvedgrada, nakon velikog potresa koji je uništio plemički grad na obroncima Medvednice, 1590. godine preselio u novoizgrađenu kuriju u Šestinama. Zatim je od 1665. godine u dvorcu stanovala obitelj Zrinski.
Novi vlasnik grof Petar Zrinski dogradio je dvorac u kasnorenesansnom stilu, a o tome govori spomen ploča iz 1667. godine, koja je kasnije uzidana u noviji zid stubišta. Zatim su u 17. i 18. stoljeću u dvorcu živjele obitelji Turovicz, Mikulić, Čikulin te plemići Sermage, a Ivan Emil Kulmer postao je vlasnikom dvorca i imanja ženidbom za Juditu groficu Sermage. Obitelj Kulmer je štajerskog podrijetla.
Političar i ilirac Franjo barun Kulmer, unuk prvog vlasnika dvorca, kralju je predložio svog prijatelja Josipa Jelačića za hrvatskog bana. Njegovom bratu Miroslavu Kulmeru dodijeljena je grofovska titula 1862. godine. Zadnji vlasnik dvorca bio je slikar Ferdinad grof Kulmer. Njegova kći Barbara Kulmer zatražila je povrat plemićkog dvorca u Šestinama, no izgubila je spor s Gradom Zagrebom.
