Hiệu ứng nhà kính mất kiểm soát xảy ra khi bầu khí quyển của một hành tinh chứa khí nhà kính với một lượng đủ để ngăn bức xạ nhiệt rời khỏi hành tinh, ngăn không cho hành tinh nguội đi và có nước lỏng trên bề mặt. Một phiên bản mất kiểm soát của hiệu ứng nhà kính có thể được xác định bằng giới hạn đối với bức xạ sóng dài chiều đi của một hành tinh đạt được một cách tiệm cận do nhiệt độ bề mặt cao hơn làm bay hơi một chất có thể ngưng tụ (thường là hơi nước) vào khí quyển.[1] Phản hồi tích cực này có nghĩa là hành tinh không thể hạ nhiệt thông qua bức xạ sóng dài chiều đi (thông qua định luật Stefan–Boltzmann) và tiếp tục nóng lên cho đến khi nó có thể tỏa ra bên ngoài các dải hấp thụ[2] của các chất có thể ngưng tụ.
Hiệu ứng nhà kính mất kiểm soát thường xảy ra với hơi nước là chất có thể ngưng tụ. Trong trường hợp này, hơi nước đến tầng bình lưu và thoát vào không gian thông qua quá trình thoát thủy động lực học.[3] Điều này có thể đã xảy ra với Sao Kim.