স্যার উইলিয়াম ফ্রেজার, ৪র্থ ব্যারোনেট