Joseph le Guluche, Großvater mit Enkelkindern