In matematica, la teoria della stabilità riguarda la stabilità nel tempo dei sistemi dinamici, valutata in termini di limitatezza delle uscite (ad esempio nel caso di una rete lineare) o analizzando il comportamento delle orbite (soluzioni) dell'equazione differenziale che descrive il sistema, specialmente nel caso in cui esso si trovi in una condizione di equilibrio.
Vi sono diversi metodi matematici per caratterizzare la stabilità di un sistema, tra i principali si possono citare:
La stabilità esterna o stabilità BIBO (dall'acronimo inglese Bounded Input, Bounded Output) è la capacità del sistema di mantenere le sue grandezze in uscita entro valori limitati a fronte di valori limitati degli ingressi, indipendentemente dallo stato iniziale. Solitamente viene studiata per sistemi LTI utilizzando la rappresentazione (in frequenza) del sistema fornita dalla funzione di trasferimento: se e solo se tutti i suoi poli hanno parte reale negativa allora il sistema è esternamente stabile.
La stabilità interna o stabilità di Ljapunov, da Ljapunov che la introdusse nella seconda metà del diciannovesimo secolo, prende invece in considerazione perturbazioni allo stato iniziale del sistema nelle vicinanze di un punto di equilibrio e valuta se l'uscita (o la traiettoria nello spazio delle fasi) ci rimane per tutti i tempi successivi. Nello specifico, utilizzando la rappresentazione in spazio di stato di un sistema dinamico, un punto di equilibrio per un sistema dinamico è detto punto di equilibrio stabile (secondo Ljapunov) se, a fronte di perturbazioni limitate dello stato iniziale del sistema, la sua evoluzione successiva rimane in prossimità del punto, mentre è detto un punto di equilibrio asintoticamente stabile (secondo Ljapunov) se la traiettoria dello stato perturbato tende al punto, cioè se la distanza fra il punto e la traiettoria si annulla per il tempo che tende a infinito.
La stabilità strutturale analizza il comportamento delle orbite in seguito a piccole perturbazioni di classe .
Un sistema dinamico lineare che è internamente stabile nell'origine (ovvero è stabile lo stato iniziale nullo) è anche esternamente stabile, mentre il viceversa è verificato solo se oltre alla stabilità esterna il sistema gode anche della proprietà di osservabilità e controllabilità.