En mathématiques, un cas dégénéré peut consister en un objet dont la définition fait apparaître des éléments redondants ou superflus, se ramenant parfois à une définition plus simple. Il peut aussi être vu comme un cas particulier d'une construction générale, ne satisfaisant pas une certaine propriété générique, notamment si ces cas sont rares dans un sens topologique ou en théorie de la mesure.
La dégénérescence se traduit souvent par l'apparition de valeurs nulles ou infinies dans les représentations analytique des objets traités, ce qui peut conduire à des situations d'indétermination (par exemple, le cercle est une ellipse dégénérée pour laquelle il est impossible de déterminer la direction de son grand axe).
Par exemple, un segment est dégénéré lorsque ses extrémités sont identiques ; il se réduit alors à un point et n'a plus de médiatrice. Par extension, un triangle est dégénéré si ses trois sommets sont alignés, ce qui ne permet plus de définir d'orthocentre ou de cercle circonscrit. Un polygone ou une ligne polygonale est dit dégénéré lorsque deux sommets (ou plus) sont confondus.[Information douteuse]
Dans l'espace euclidien Rn, un pavé I1 × … × In est dit dégénéré si l'un au moins des segments Ik l'est.
De même, un cercle est dit dégénéré lorsque son rayon est nul, se réduisant ainsi à son centre.
Les courbes solutions d'une équation quadratique dans le plan peuvent aussi définir des coniques propres (ellipse, parabole ou hyperbole) ou des coniques dégénérées telles que le cercle (parfois assimilé à une conique d'excentricité nulle), une droite, la réunion de deux droites sécantes ou parallèles, voire un point isolé ou l'ensemble vide.
Un système d'équations linéaires est dégénéré lorsque l'une des équations sans second membre est linéairement dépendante des autres. Lorsqu'il y a autant d'inconnues que d'équations, le système est dégénéré si et seulement si le déterminant de la matrice associée est nul, c'est-à-dire qu'il ne constitue pas un système de Cramer. L'ensemble des solutions est alors vide ou contient au moins une droite.
De même, une forme bilinéaire est dégénérée s'il existe un vecteur non nul dont l'orthogonal (à gauche ou à droite) soit l'espace entier. Si l'espace est de dimension finie, la forme est dégénérée si sa matrice représentative est de déterminant nul. Pour une forme bilinéaire symétrique dégénérée, l'ensemble des vecteurs dont l'orthogonal n'est pas l'espace entier constitue un sous-espace strict sur lequel la forme est non dégénérée.
Une valeur propre est dite dégénérée lorsqu'elle admet au moins deux droites de vecteurs propres.
Une matrice dégénérée est une matrice réelle carrée dont un des mineurs principaux est nul.
pour d'autres exemples. Un ensemble contenant un seul point est un continuum (en) dégénéré[réf. souhaitée].