南北朝时期，佛教传入了雁荡山。不过，佛教在此的真正兴起是在唐朝，传说是唐代高僧如来佛的弟子、十六罗汉中排位第五的诺讵那来到雁荡山建造了第一个佛教寺庙。
相传，如来佛曾告诉诺讵那：“你将在一个山水绝妙的地方建寺，那个地方用花名做村名，用鸟名做山名。”
后来，诺讵那带着300弟子云游天下，找了好多地方都没有找到这个去处。一日，他来到雁荡山下，但见此处凭海临风，姹紫嫣红，花香鸟语，心中暗暗高兴，便询问当地的一位老者该地和该山的名字。
老者回答说，这个地方叫芙蓉村，山叫做雁荡山。诺讵那一听高兴极了，知道自己终于找到了如来佛预言之地，于是他领着弟子们进山开始兴建寺院，佛教自此兴盛，诺讵那后在大龙湫观瀑坐化了。人们因此尊奉他为雁荡的开山祖师。诺讵那之后，雁荡山就开始有许多僧人在此修行。
在雁荡山的合掌峰巨壁左侧缝间有一个手指大的活像观音菩萨的石像，人们称它为“一指观音”。根据民间传说，一天，观音菩萨飘过雁荡山上空时，看到山中烟火冲天，鞭炮震天响，就化作一个老婆婆下去查看发生了什么事情。
原来人们正在观音洞里用檀香木雕刻菩萨的像。而要完成这个佛像，需要990斤银子。于是，化作老婆婆的菩萨找到方丈劝他不要这样做，因为是劳民伤财。
方丈不听，还说：“修行人，只求超脱凡尘，为什么还要计较钱财呀？”并责备老婆婆“烧香拜佛空念一世经”。谁知方丈话没说完，合掌峰间刮起了一阵狂风，把未雕好的檀香木观音像刮得无影无踪，观音洞内则落下来一串串珍珠。在人们去捡时，珍珠又变作水珠流走了。此时空中传来声音：“诚不诚，看真心，塑巨像，害死人！”而那未雕成的檀香塑像，则越变越小，最后只有九寸九分九长了，贴在了缝隙间。而方丈趴在地上，也一动不动了。雁荡山以其灵秀的风光，被誉为“东南第一山”。唐朝诗人顾况在《仙游记》中称雁荡山为桃花源式的人间仙境。后殿中立大石柱一对，刻有乡邑名儒赵舜耕撰书的楹联：
儒释道三教异流同宗旨；东西祭二纵分派共渊源。
雁荡山的集云道院也是在唐代建成的。集云道院始建于889年，后来的1013年赐“静慧院”额，后又改名“集云观”，在后来的明代又并入白鹤寺。据后来清代邑庠生施元孚编写的《白石山志》中记载：
当其盛时，高甍巨槛，金碧辉煌，住僧数十人，钟韵梵音，早夜不辍，号为丛林。
后来，集云道院因飓风倒塌了，存留下来的是以后重建的。道院坐落在横山南麓，占地2064平方米，分前后两进。后殿中立大石柱一对，刻一楹联，道：
儒释道三教异流同宗旨；东西祭二纵分派共渊源。
雁荡山合掌峰中的观音洞，最早也是唐代高僧善牧的居所。观音洞似一大型石室，天然生成，洞内有一石柱悬垂至地，洞上及洞周石壁雕有观音像。观音洞高100米，宽深各40米，洞内佛楼倚岩而建，高达9层。入洞口处为天王殿，内塑四大金刚，殿后有377级石磴，直达顶屋。顶屋为观音殿，其余为僧舍。
从第八层楼左壁往洞口看，可见一尊一丁点儿大的观音佛像端坐在莲台上，此谓“一指观音”。从洞顶往外望，天空仅留一线，人称“一线天”，洞内尚有洗心、漱玉诸泉，在最顶层的大殿旁还有一处洗心池，水质清澈甘洌。
观音洞旁建有一庵，为明代所建。观音洞后古树成荫，巨石层叠，上书“大士重现”。雁荡山的观音洞还有一个传奇的故事！
相传在1000年前，观音洞里有很多岩石，还长着刺藤，住着狐狸、蜈蚣精和狼，它们都很凶暴。
一日，一个老和尚来到观音洞，那时，他已经筋疲力尽了。他看到观音洞，想去那里念《法华经》，当时他忘记了口渴，忘记了饥饿，加快步伐赶去念经。一条条刺藤划破了老和尚的脸，但他毫不觉得痛，还是不断疾步前进。
老和尚终于到了，他在观音洞里念经，岩石上的水滴一点一点地滴下来，老和尚称为“清泉”。老和尚念了一天一夜，住在这观音洞里的狐狸、蜈蚣精和狼都戏弄老和尚，可是老和尚还是只管念自己的经，不去理它们。
老和尚旁边喷着的水被他称这水为“洗心”，狐狸它们一伙又想让老和尚死。便让蜈蚣精在“清泉”上滴上毒液来给老和尚喝，可是，老和尚喝了“洗心”喷泉的水后安然无恙。
狐狸它们捉弄了老和尚好几天，也都累了。坐在老和尚的旁边日日夜夜听老和尚念经，最后也都受到了感化。
狐狸一心想要改过，就让野狐狸们把山洞里的岩石给搬走。蜈蚣精也想要改过，就让毒蜈蚣们把山洞里的刺藤咬断。老狼让狼群把山洞里石头推下山。老和尚最后化成了石像，至今还待在山洞里面。
到了宋代，雁荡山进入了全盛时期，特别是南宋小朝廷迁都临安，温州的经济进入了大发展时期，驿道也改从雁荡山的西内谷中经过，所以此时雁荡山中新建了诸多寺庙和古刹，盛极一时。
在雁荡山灵岩之阳有一古刹，它背依灵岩，以岩名，称为灵岩寺，该寺始建于979年，因寺境山水灵秀，名闻京师，宋太宗特赐御书经书52卷，999年赐额“灵岩禅寺”。
灵岩寺四周奇峰嶙峋，古木参天，是雁荡十八古刹之一。寺有殿宇、禅房百余间，号称“东南首刹”，四周群峰环列，雄壮浑庞，古木参天，环境幽绝。
灵岩寺建成后不久，雁荡山十八古刹中规模最大的一座寺庙能仁寺也建成了。能仁寺初建于999年，位于雁荡山大龙湫锦溪岩畔，东南对火焰山和戴辰峰，燕尾瀑位居其北，可远望观音峰。
南宋以后，能仁寺的影响越来越大，鼎盛时期，有僧人300，香客每日千人，成为全国著名寺院之一。寺中有一大铁镬，高1米多，直径约2.5米，镬重1.85万千克，为1092年所铸，因此能仁寺又称大镬寺。在灵岩寺后有一片方竹，这方竹还是早先从能仁寺移栽过来的。
古时，能仁这一带地方是一片深山密林，常有猛兽出没，伤害百姓。所以，那时一户两户人家就不敢在这里定居下来。后来，大家结伙一起，在能仁一带聚居成村了。但村里盖起来房屋常被火烧掉，老百姓猜疑是能仁寺对面的火焰峰在作怪。
1092年，人们就在火焰峰下铸造了一口重3.7万斤的大铁镬，盛水用来制胜火焰峰。从此以后，这里的风水好了，年年风调雨顺，百姓安居乐业，寺院香火很盛。
一日，有兄妹两人从括苍山来到了能仁寺，哥哥是个识风水的人，他见这里风水好，便在能仁寺附近埋了个铜钱做纪念，说是这样做下半世可荣华富贵。
随后，妹妹也从头上拿下枚头钗插在这里做纪念。说也凑巧，这枚头钗不偏不离，正好插在哥哥埋的铜钱眼里。后来这头钗日长夜大，成了一颗四四方方的竹子。几年以后，四方竹长成一大片了。
有一天，天遇大旱，一连几个月不下雨，能仁寺的方竹大都枯死了。好心的灵岩寺成圆法师把活着的几棵方竹统统移栽到了灵岩寺，天天浇水，方竹救活了。这方竹一代传一代，到如今，灵岩寺后还长着茂盛的一片方竹。