杨以山是安徽省六安市人，１９３１年参加中国工农红军，同年加入中国共产主义青年团，１９３３年转为中共党员。他历任干事、政治指导员、股长、科长、处长、办事处主任、供给部长、西南军区财务部副部长、昆明军区后方勤务部副部长、西藏军区后勤部部长、成都军区后勤部部长等职。土地革命战争时期，他参加了鄂豫皖第三次、第四次、第五次反“围剿”斗争和红军长征。抗日战争时期，他参加了百团大战、太行根据地反“扫荡”和林南、温县等战役战斗。解放战争时期，他参与组织了洛阳、郑州、渡江等战役战斗的后勤保障工作。中华人民共和国成立后，他长期深入基层，跑遍了大西南各个部队和哨所，为西南战区的后勤建设与发展做出了突出贡献。他坚决拥护党的十一届三中全会以来的路线、方针、政策，与党中央保持一致。他是第五届全国人民代表大会代表，１９６４年被授予少将军衔。

杨以山同志顾大局，守纪律，谦虚谨慎，团结同志，勤奋好学，事业心强，生活俭朴，廉洁奉公，始终保持老红军的光荣本色。

杨以山同志，因病于1995年4月5日在成都逝世，享年80岁。