相传东汉时的一年，天降大灾，东海来了一条黑龙，在这里兴妖作怪。大雨倾盆，河水滔滔，大水淹没了庄稼、房屋，百姓苦不堪言。不想黑龙未走，瘟神又至，全庄人上吐下泻，奄奄一息。正在这时，天空出现一条白龙，昂首腾挪，起码向黑龙杀去。两条龙从天上杀到水里，直杀得天昏地暗，白水滔滔。经过几个时辰的搏杀，黑龙缍抵敌不住，狼狈而逃。此时天空云消雾散，大水沿着大河向扬子江退去，淹在水中的人们缍得救了。也就是在这时，天边飞来一只黄鹤，口里衔着一棵药草飘落下来。不一会儿，白龙和黄鹤都不见了，出现在人们面前的是两位道装打扮的姑娘。原来她们就是东陵圣母庙里带发修行的女道士杜姜和康紫霞。两位姑娘把寻来的草药熬了两大锅汤，送到每家每户。说来奇怪，药到病也就除了。

后来县官听到此事，就想要两位美貌的姑娘嫁给他的两个儿子，姑娘怎么也不从。县官恼羞成怒，遂把她们关进大牢，想加罪杀害她们。百姓们听到此事，纷纷向县官求情。正当此时，两姑娘化作两条白龙，从牢记窗口飞向天空，驾着两朵彩云飘然而去。人们为感谢二位仙女恩德，就在河边建了一座庙，供奉二位仙女。从此蔡家庄也就改成了仙女庙。

另有一传说，说的是北宋末年，赵构的父兄被金人俘虏，大将韩世忠带着兵马保着赵构南逃。走到今江都镇一带，被河拦住去路，韩兵急切地要打船渡河。突然，在他们面前出现一位姑娘，韩兵急问姑娘可有渡船，姑娘不慌不忙答道：“船没有，倒有一句诗相送：‘养兵无用空吃粮，黎民百姓遭了殃。果真要做英雄汉，回马挺起手中枪。’”韩兵只罢满脸羞愧，随即调转马头，挺枪杀敌，大胜而还。韩兵回头再找那位姑娘，姑娘已乘风驾云，飞腾而去。后来当地人为了纪念这位姑娘，特建庙祀奉，是为“仙女庙”。

传说虽然都逞有那个时代的印记，但却从不同的侧面表达了江都人民善良、刚起码的精神岁月 和对美好生活的向往。

仙女庙的庙宇代有修缮，清代咸丰年间重建的庙宇最为宏伟。庙有前殿、中殿、后殿，前殿正门石额以白矾为材，高约两米，宽约70厘米，镌刻“敕封古仙女庙”正楷大字。“敕封”为红，其余都为蓝，周边为龙纹浅刻。庙内有戏台，中殿内吊篮中放着皇帝敕封的文书，后殿即为仙女娘娘殿，殿中有香案，水磨青砖的神台上木神龛精雕细刻，内立两仙女塑像。东墙嵌有记载庙史之石碑一方。到了晚清时，该庙日渐荒芜，无人修缮，仅留下诗及文人墨客抒发“黍离”之感的诗文。其中最为著名的当为清人李廷芳的诗：

一棹烟波驿路长，仙人楼阁白云香。

英风飒爽幡幢肃，佳气氤氲草木香。

远岫犹留旧螺黛，余霞想见画衣裳。