Quê hương ông Phạm Văn Thụy là một vùng quê nghèo, xưa là tổng Thần Huống, huyện Thái Ninh nay thuộc xã Thái Học, huyện Thái Thụy, tỉnh Thái Bình. Dân làng sống thuần nông, các cụ thân sinh ra ông Thụy có 5 người con. Cụ ông mất sớm, cụ bà tần tảo cấy 4 sào ruộng, làm thuê làm mướn nuôi các con