Onder architectuur van de nog jonge Rotterdamse architect Jos Margry (geb. ± 1888) werd in 1920 de bouw van de H. Hartkerk gerealiseerd door de Hillegomse aannemer J.v.d.Bosch en Zonen voor de somma van fl. 131.000. Een gebouw nog zonder toren, wel werd de pastorie gerealiseerd.
De Zilker parochie maakte de eerste jaren een stormachtige groei door. Het aantal parochianen groeide snel. De kerk werd te klein. Begin 1926 kreeg het Kerkbestuur toestemming om verder te bouwen. Er werd een plan gemaakt voor het voorste gedeelte van de kerk met toren en het bouwen van het Parochiehuis. Op 16 april 1926 wordt dit werk in zijn geheel aanbesteed voor fl. 101.908,– . De architect van de kerk Jos Margry maakte ook nu het ontwerp. De firma Theunissen en Van Sonsbeek uit Heemstede zijn de aannemers.
Begin 1927 kwam alles gereed.
In de Leidsche Courant van 16 april 1926 wordt door de verslaggever na een gesprek met pastoor Hafkenscheidt vermeldt dat het parochiaal bestuur grootse plannen had namelijk de bouw van een parochiehuis. Dit plan zou alleen verwerkelijkt worden wanneer de aanbesteding niet te hoog zou uitvallen. Het gebouw zou verrijzen rechts van de pastorie met afmetingen van 10 meter bij 30 meter en twee verdiepingen hoog. Het wordt voor vele doeleinden geschikt gemaakt. Er komt een vergaderzaal en een leeskamer, een biljartzaal en een kegelbaan, alles op de begane grond. Op de eerste verdieping komt de grote toneelzaal, die door inschuifbare harmonica-deuren in drie zalen kan worden omgevormd en waarin ook de bewaarschool kan worden ingericht. Tot zover de tekst uit het Leidsche Courant.
Voor pastoor Hafkenscheidt was de oplevering van de kerk met toren, voorgevel en de bouw van het Parochiehuis een hoogtepunt in zijn loopbaan. In zijn verslag over de bouw concludeert hij dan ook: “En hiermede was het hele werk in de parochie Zilk voltooid en was er voorzien in alle mogelijke behoeften van de Parochianen”.
Sindsdien is het in het Parochiehuis een komen en gaan geweest van mensen en activiteiten. In 1927 werd de St. Jozefgezellen opgericht een vereniging voor jonge mannen.
Zij organiseerden allerlei activiteiten, zoals toneelspelen, zingen en schaken. Ook werd vanuit de St Jozefgezellen de voetbalvereniging “Van Nispen” opgericht in 1932.
Na de 2e wereldoorlog in de tijd van woningnood is de kegelbaan nog geschikt gemaakt voor bewoning. Er lopen nog enkele Zilkers in het dorp rond die kunnen zeggen dat zij in de kegelbaan zijn geboren.
De H. Hartschool heeft ook nog enkele jaren gebruikt gemaakt van het parochiehuis om twee klassen te huisvesten. Peuteropvang Zwartsnoetje, zangers, musical-sterren, padvinders en gidsen, toneelspelers hebben er geoefend en gespeeld. Fancy-fairs, huisbroei tentoonstellingen en kerkenveilingen zijn en worden er gehouden. Tot hoe lang nog?