杨怀、高沛是刘璋属下名将，率軍守卫白水关。他们多次向劉璋上書，让刘璋打发劉備撤退回荊州。但是他们也钦佩劉備的英名。建安十七年（212年），劉璋請刘备討伐張魯，招聘劉備守备葭萌。劉備以討伐張魯收揽人心，实际準備平定益州。龐統建议劉備，说荊州有事要回兵，高沛、杨怀知道后一定大喜，轻装前来，于是将二人抓获。高沛、杨怀果然来拜见刘备，刘备将他们斬杀，趁機開始進軍成都[1]。《蜀書先主传》记载劉璋誅殺沟通劉備的益州別駕从事張松，命令益州关口守将不要把文書传给劉備。劉備大怒，召杨怀，以他無礼将他斬杀，没有提及誅殺高沛[2]。
小説《三国演义》描写杨怀、高沛共守涪水关，在荊州送行劉備时，计划暗殺劉備。席间，刘封、关平出来捉拿二将，龐統命令斬杀杨怀、高沛[3]。