来参观。李白游扬州，曾登此塔，并留下一首《秋日登扬州栖灵塔》：“宝塔凌苍苍，登攀览四荒。顶高元气合，标出海云长。万象分空界，三天接画梁。水摇金刹影，日动火珠光。鸟拂琼帘度，霞连绣拱张。目随征路断，心逐去帆扬。
露浴梧楸白，霜催橘柚黄。玉毫如可见，于此照迷方。”除李白外，白居易、刘禹锡等诗人也曾登此唐朝第一塔，赋诗以赞。只说刘隐之。正当他在塔下转悠，肩膀被拍了一下，一回头，是怀信，后者说：“还记得我们曾在海上相见吗？
”刘隐之猛地想起他在明州旅舍做的那个奇怪的梦。正在疑惑间，怀信把他拉入禅房，随后进行了一番秘谈。又过了几天，栖灵塔失火。寺众大惊，只有怀信躲在人群中，露出微笑。很快，“会昌法难”开始，大明寺也被拆除。
显然，在这个故事中，怀信已预测到朝廷将要大规模灭佛毁寺，于是施法术，护送镇寺之塔越海而渡，将其隐藏起来；而在外人看来，该塔像是失火而毁。当然，这件事除了怀信外，在整个唐朝，只有刘隐之知道。值得一提的是，段成式在《酉阳杂俎》中，也记载了一则关于该塔的异象：“陈少游在扬州时，东市塔影忽倒…
…”这是唐代宗大历年间的事，难道预示了多年后怀信将该塔渡海转移的秘闻？武宗死后，宣宗皇帝即位，恢复佛教，栖灵塔再一次屹立于人们面前：它是被人重新修建，还是被神奇的怀信渡海抱回的呢？武宗灭佛的原因有几个。
首先当然与他的个人爱好有关。他是一个虔诚的道教爱好者，宠信道士赵归真，而后者一直以大力抨击佛教为己任。其次，为的是解决唐朝的财政问题。因寺院僧人众多，又纳奴婢，田产更巨，却不纳税，致使政府的经济出现大缺口。
此外，还有一则传闻：武宗之所以灭佛毁寺，是为了搜捕他的叔叔光王李忱（后来即位的宣宗皇帝）。当时，武宗对这位在史上以大智若愚著称的叔叔心有顾虑，几欲谋害，在其逼迫下，李忱剃度为僧，隐藏于寺院中。当然，这只是一个传说而已。