据说，天上的玉皇大帝得知人间有苏杭二州，风景旖旎，胜似天堂，就决定在这两处各建造行宫一座，以便游玩。
一天，他从杭州派出4位石佛，前往苏州实地察看。4位石佛就变为4个普通人，乘坐一艘从杭州开往苏州的烧香船。
当船摇到乌镇这个地方的时候，4位石佛从船舱里往外一望，只见这里溪塘交叉，绿树成行，桃红柳绿，风光秀美。4位石佛以为苏州到了，打算先派一位上岸去看看。
船到乌镇西栅日晖桥边，一位石佛对摇船的说：“船老兄，我要上岸小解，请行个方便，能否在此停靠片刻。”
船夫一口答应，立即停船让客人上岸。谁知这个客人刚一上岸，船上的人只觉得船身如释重负，徒然向上一升，浮高了好几寸。船夫惊奇地说：“这位乘客真重呀，好像一个石菩萨。”船夫话音刚落，岸上那位客人就像中了定身法一样，立在那里一动也不动了。
留在船上的那三位，见上岸的石佛真相已被船家点穿，忙推说要去拜访朋友，也急忙离船登岸，匆匆往南而去。这时烧香船更是浮高了一大截，船上的香客议论纷纷，都猜测说这4个人莫非真是神仙，是石菩萨。
不久，日晖桥堍的那一位，果然变成了一尊石佛立在那里。其他三位，走到放生桥附近，也现了原形，变成了3尊石佛。
消息传开后，人们都说佛落仙地了，乌镇这地方风水好。人们为了保住这块仙地，就在日晖桥先给先上岸的那位石佛建了一座小庙堂，又在放生桥南面，给3尊石佛造了座大寺庙，取名“石佛寺”。人们还在寺内挂了一块匾额，上面写着“水上浮来”4个大字。从此，每年春天总有不少善男信女到寺内顶礼膜拜。特别是从杭州烧香回来的那些苏州、常州的香客们，路过乌镇时，总要靠船上岸，到石佛寺去烧“回头香”，据说这是为了向那几位石佛致歉呢！传说，这就是乌镇石佛寺的由来。