Ông là anh ruột của Thượng tướng Đinh Đức Thiện (Phan Đình Dinh) và của Đại tướng Mai Chí Thọ (Phan Đình Đống).
Con trai của ông là Lê Nam Thắng, Nguyên Thứ trưởng Bộ Thông tin và Truyền thông.
Lê Nam Thắng là con trai của ông Lê Đức Thọ và bà Nguyễn Thị Chiếu, tức Tám Chiếu, người Nam Bộ. Với người vợ trước, quê Hải Phòng, ông Lê Đức Thọ có một người con trai tên là Phan Đình Dũng, đã qua đời.