Parker sinh ngày 14 tháng 5 năm 1927 tại Norfolk, Virginia với William và Harriet (Cowdin) Parker. William Parker là nha sĩ của Sở Y tế Công cộng Hoa Kỳ. Harriet Parker là một nghệ sĩ vẽ màu nước nghiệp dư, người đã đảm bảo cho con trai cô được tiếp cận với các nguồn cung cấp nghệ thuật. Nhạc jazz là một phần quan trọng trong tuổi thơ của Parker nhờ bộ sưu tập đĩa hát phong phú của cha anh và sự yêu thích nhạc jazz.