開基は米子城主中村伯耆守忠一の母、大宝院珠慶夫人である。
かつては城山に建てられていたのを、慶長5年(1600年)、中村伯耆守忠一が米子に入国して湊山に築城のため、現在地(岩倉町)に一町四方の境内を構え当寺を建立したといわれている。開山は團蓮社扇誉上人称阿凉善和尚である。境内に大師堂があり円光大師を祀る。
本堂には後醍醐天皇の忠臣、備前の領主児島高徳17代子孫の位牌が安置されている。これは元文5年(1740年)4月、児島高徳公17代の古谷作太夫一政の位牌を子息の古谷如水が作り、凉善寺で供養を行ったというものである。近年、児島高徳公の遺徳を偲び、境内に児島高徳公顕彰碑が建立されている。