Arrainen eboluzioa duela 530 milioi urte hasi zen kanbriar eztanda ebolutiboan. Garai hartan, lehen chordata filoko animaliek garezurra eta bizkarrezurra garatu zituzten, eta lehen craniata eta ornodunak garatu ziren.
Lehenengo arrain-leinuak agnatha direlakoak izan ziren, barailarik gabeak.
Haikouichthys arrainak dira adibide goiztiar batzuk. Kanbriar berantiarrean, angulak bezalako arrain luzexka barailagabeak garatu ziren, conodonta delakoak, eta blindatutako arrain txiki bat ere agertzen da fosilen artean, lehen ostrakodermoa. Arrain barailarik gabe haietarik gehienek ez dute ondorengorik gaurko faunan, baina bada adar bat, lanproiena, eboluzionatu eta iraun duena. Lanproiak ziklostomatuak dira taxonomikoki, eta baliteke talde hori goiz banatu izana beste agnatu batzuetatik.
Barailadun lehen ornodunak, seguru asko, Ordoviziar garaian garatu ziren. Lehenbizikoak, Siluriar erregistro fosilean agertzen diren bi arrain-talde dira: plakodermo izeneko arrain blindatuek ostrakodermoetatik eboluzionatu zuen, eta Acanthodii delakoak (marrazo arantzatsuak) ere agertu ziren. Egungo arrain moderno gehienen arbaso zuzenagoak siluriar berantiarrean azaldu ziren: Chondrichthyes (edo arrain kartilaginosoak) eta Osteichthyes (edo arrain hezurdunak). Hezurdun arrainetarik bi talde desberdin eratorri ziren: Actinopterygii (edo hegats eta erradiodun arrainak: hauen ondorengoak dira gaurko arrain gehienak, teleosteoen milaka espezieak barne) eta Sarcopterygii (ondorengo gutxiagorekin gaur, baina eboluzioan toki handia izan zutenak).
Devoniar garaian, arrainen aniztasuna asko handitu zen, batez ere ostrakodermo eta plakodermoen artean, bai eta aktinopterigioen eta lehen marrazoen artean ere. Horren ondorioz, devoniarra arrainen aroa izenez ezagutzen da. Arrain haietarik ere tetrapodoak eboluzionatu zuten, lau hankako ornodunak, gaur egungo anfibio, narrasti, ugaztun eta hegaztien arbasoak, gu gizakion arbasoak ere bai alegia.
Tetrapodoak, izatez, arrainen multzo filetikoaren barne daudenez, arrainek ez dute talde monofiletikoa osatzen, parapletikoa baizik.[1]
Arrainei, beste organismo askori bezala, asko eragin diete suntsipen-gertaerek historia naturalean zehar. Lehen masa-desagerpen larria ordoviziar-siluriarra izan zen, zeinak espezie asko galtzea ekarri zuen. Devoniar desagerpen berantiarraren ondorioz, ostrakodoak eta plakodermoak nagusiki desagertu ziren. baita beste arrain batzuk ere. Marrazo arantzatsuak desagertu egin ziren Permiar-Triasikoko desagertzean; eta geroago konodonteak Jurasikoan.