南汉王刘龚好佛，为应天上二十八宿之数，在羊城东南西北四个方位各建七座佛寺，合称“南汉二十八寺”。随着岁月流逝，二十八寺绝大部分已沦为市尘，或变为民居。惟有地处现广州市区中心繁华地带的大佛寺巍然独存。
大佛寺为二十八寺中北七寺之新藏寺。据史载：此地前临仙湖，后枕西湖，绿水澄清。至宋代日渐荒废。元代（1271－1368年）再建殿宇，各曰福田庵。明代扩建为龙藏寺，其规模南控南南城脚（合之北京路丽都酒家附近），北枕拱北楼（北京路兴西湖路口交界处），山门朝西，直通龙藏街（龙藏街由此得名）。明末被当局改建为巡按御史公署。清朝顺治六年（1649年），平南王尚可喜、靖南王耿继茂受命南征，直逼百粤，史称“两王八粤”，合围穗城，攻战持续十个月，公署毁於兵焚。康熙二年（1663年）春，尚可喜自捐王俸重建佛寺，并亲自董理；翌年冬竣工；主要建筑每头门、钟楼、鼓楼、天王殿、大雄宝殿、毗卢殿，两侧建廊庑、方丈室、香积厨、斋堂、库房、僧舍、客堂。殿宇布局及制式，悉仿京师官寺。大雄宝殿坐北向南，面阔七间，深进五间，面积1200平方米，殿高18米，“庄严雄壮，观者声为！”大殿正中供奉黄铜精铸的三世佛像，各高六米，重十吨，为岭南之冠，故名大佛寺。“康熙三年岁次甲辰孟冬吉日”，由“平南王尚可喜薰沐耳拜题”的《鼎建大佛寺记》石碑，至今仍保存在大雄宝殿前面左侧。另有《鼎建大佛寺题名碑》兀立於大殿右侧。
康熙六年（1667年）八月初一，尚可喜三子尚之隆晋秩额驸（满族语，即驸马）後，偕固伦公主不定期粤省亲，聘请班禅喇嘛及四十名喇嘛同来广东，驻锡大佛寺，大修四十九天“无遮胜会”。
据传，尚可喜到了晚年，往往预感有“不祥之兆”。如何偿还屠城罪业，告慰无辜冤魂？谋士金澄献策“逃禅避祸”。於是决意皈依三宝，广招沙弥，盛开法会，大佛寺呈现兴旺景象。山门联“大道有岸；佛法无边”，即出自其谋士金澄之手。康熙十二年（1673年）双目失明的尚可喜离开大佛寺回辽东养老。大佛寺兴旺景象也随之回落。
康熙中叶，行脚僧自乐禅师云游到此，目睹大佛寺殿宇庄严，金身雄伟，却无高僧大德驻锡，於是亲自到海幢寺诚请正目禅师兼任大佛寺住持。从此海幢、大佛两寺僧众过往甚密、亲如兄弟，大佛寺也渐趋兴旺。
雍正十一年（1733年）四月十一日，世宗皇帝向全国颁布谕旨，整顿僧伽。广州知府刘庶选大佛寺作为宣谕之所，并於殿前建宣谕亭。同时在大殿两侧增建韦驮殿、伽蓝殿及僧舍，在寺院外街建东西两座门楼——东标“佛境”，西榜“禅林”。此时寺院范围扩大为开山以来最为鼎盛的时期，兴光孝寺、华林寺、海幢寺、长寿寺（在长寿路，已废）四寺齐名，合称广府五大丛林。
道光十九年（1839年），林则徐以钦差大臣身份到广州查禁鸦片，“收缴菸土菸枪总局”设在大佛寺内。
咸丰年间（1851一1861年），太平天国起义，粤府占用大佛寺西边的大部分僧舍设立善後局，僧人纷纷离寺，仅剩三人看管寺门。民国初年，当局占用殿宇设立广州市政公所。民国十年（1921年），广府五大丛林寺僧及知名居士鉴於世风日下，人欲横流，功利之说甚盛，道德之基益摇，联名发起在大佛寺组织广州佛教阅经社，以佛教文化及教义影响社会、净化人心。此举深得孙中山大总统嘉许，亲笔书赠“阐扬三密”四字大匾（墨迹尚存，现已复制展出）。
民国十一年（1922年），当局以筹集北伐军饷和市政府建设为名，将大佛寺全部房地产标价拍卖。寺僧闻讯，非常震惊，住持敬胜法师率领僧众三十多人到省府请愿。省长陈策微服暗访大佛寺，得悉大佛寺的历史与化艺术的保留价值，遂取消拍卖全寺之意，保留部分殿宇，延续佛事活动。寺僧艰苦努力，募集资金，赎回部分房地产，计有大雄宝殿、毗卢殿、禅堂、祖堂、库房、方丈室、客堂、僧舍、斋堂等六千多平方米建筑物，仍不失为丛林格局。
1926年3月26曰，“中山舰事件”後，军事委员会政治训练部设在大佛寺祖堂及部分僧舍中举行高级政治训练班，吸收五十多名共产党员入班学习，培养高级政治干部，由周恩来任班主任。学员结业後，分派到国民革命军第四军、第二军、第六军中任职。
民国二十二年（1933年），寺产又被广州市警察教练所强行借去，後经海军司令姜西园出面交涉，才肯退还。姜司令还亲自到云南昆明礼请著名诗乘车八指头陀月溪法师驻锡大佛寺，道风大振，佛事兴旺。1934年，由谢英伯、梁致广、罗碧瑜等居士发起全面修葺殿宇，广善信，踊跃相助，寺貌一新。
1938年秋，曰冠侵占华南，敌机滥炸广州，寺僧四散。月溪法师也离穗旅港。
抗战胜利後，玩经法师首先回寺并任住持，其馀同修也陆续归来，恢复佛事活动。
抗战期间，广州市日伪政府邮电部门占用大佛寺二千多平方米房产堆放电讯器材，以后又在这里办起邮电职工训练班、邮电职工子弟学校，这些单位撤出後，1956年越秀区教育局又在此办起惠新西街小学。
1966年8月，在“破囚旧”的口号鼓动下，部分群众和红卫兵冲击大佛寺，僧人被逐，殿宇被占，文物被毁，三尊大铜佛像也被分割数截，送到某单位金属废品仓库待熔。後得周恩来总理及时电示：凡文物铜像不能销毁，才免入熔炉。现经文物部门策划焊接复原，供奉在六榕寺重建之大雄宝殿。
改革开放後，1986年冬市政府批准恢复开放大佛寺。市人大、市政协也频频视察和敦促占用单位还寺於僧。1991年春，大雄宝殿移交广州市佛教协会管理，副会长广明老法师出任住持。边开放，边集资，边重建。海内外善信踊跃捐资。日本友人山冈容冶先生暨夫人严苏蝦女士施一亿日元。使修复工程很快完成。
