Kazimierz Panów urodził się 7 kwietnia 1929 r. w miejscowości Tajkury na Wołyniu. Miał trzy siostry – Janinę, Julię i Leokadię. Podczas okupacji sowieckiej i niemieckiej mieszkał z rodziną w Zdołbunowie, a później w Kowlu. Ojciec jego zginął w czasie wojny.