Młodość i studia

Urodził się w rodzinie Władysława i Natalii z Bietkowskich. Jego ojciec walczył w powstaniu styczniowym, był założycielem Politechniki Warszawskiej i znanym przemysłowcem. W 1904 r. ukończył szkołę średnią Ronthalera w Warszawie. W latach 1904–1905 studiował na wydziale prawnym Cesarskiego Uniwersytetu Warszawskiego. Po przeprowadzeniu się do Lublina, ukończył tamtejsze seminarium duchowne, a 14 czerwca 1908 r. przyjął święcenia kapłańskie i podjął dalsze studia na wydziale teologii moralnej uniwersytetu w Innsbrucku (1912).

Działalność w Lublinie

W 1912 r. został mianowany rektorem kościoła św. Piotra i pełnił obowiązki prefekta Gimnazjum im. Stanisława Staszica w Lublinie (do 1914 r.). W 1915 r. utworzył Gimnazjum Męskie im. Hetmana Jana Zamoyskiego. Powołał Zrzeszenie Nauczycieli, wykładał też w Diecezjalnym Seminarium Duchownym.

W 1922 r. otrzymał godność szambelana papieskiego od papieża Piusa XI, a w 1925 r. został mianowany kanonikiem gremialnym Kapituły Katedralnej Lubelskiej.

Od 1933 r., z nominacji biskupa Fulmana kierował najpierw jako wicedyrektor, a następnie dyrektor Gimnazjum biskupim, a od 1935 r. został rektorem kościoła Matki Bożej Zwycięskiej.

Jego działalność społeczna i pedagogiczna przyniosła społeczności lokalnej powstanie drużyny harcerskiej i orkiestry. Wspierał Towarzystwo Przyjaciół Uczącej się Młodzieży i niosąc pomoc ubogim uczniom ufundował stypendium dla maturzystów. W 1918 r. gościł wizytatora apostolskiego Achillesa Rattiego, późniejszego papieża Piusa XI. Dzięki staraniom ks. Gostyńskiego szkoła Zamoyskiego uzyskała status gimnazjum państwowego.

Okupacja i niewola

Po wybuchu II wojny światowej prowadził działalność patriotyczną między innymi odprawiając mszę św. za Ojczyznę z okazji Święta Niepodległości. 11 stycznia 1940 r. został aresztowany i uwięziony w ciężkim więzieniu na Zamku Lubelskim.

Śmierć

Po półrocznym pobycie w więzieniu przewieziono ks. Kazimierza do niemieckiego obozu koncentracyjnego Sachsenhausen, a następnie do Dachau. Poddany torturom i zmuszany do nadludzkiego wysiłku fizycznego, jako niezdolny do pracy został przez Niemców zamordowany w komorze gazowej w tzw. transporcie inwalidów.