Charles FitzRoy, Công tước thứ 2 xứ Grafton