关于孤山寨“小孤山”，在十渡当地还流传着这样一段故事，撼人魂魄，荡气回肠。
相传明朝后期煮宗时候朝廷黑暗，皇帝昏庸，一些道士为取悦皇帝挖空心思，他们写青词、炼金丹，画符箓以此为邀宠争赏的捷径。有个名叫廉澄的太监从南方某省招来两个奸诈多谋的道士来到十渡孤山寨内，假借持有皇上圣谕，选中在这里炼制仙丹——“九转金丹”，可以使人服后长生不老。
其实所谓炼制仙丹，就是将朱砂、云母、雄黄、雌黄、空青等八种矿石捣碎和混，加上黄金溶液（或铅汞溶液）反复烧制七七四十九天即成为“九转八石金丹”。道教经书中说此种金丹胜似仙果。其实不过是欺世盗名，骗人钱财而已。恶太监廉澄带领两个贼道士在这一带民间聚敛钱财，假传圣旨；要求每个村的百姓必须纳贡--黄金十两，叫不出来要用衣物钱粮抵顶。
十渡地区的百姓们怨声载道，苦不堪言。他们从远处招募劳工在孤山寨内架起炼丹炉，砍伐山中林木，开始炼丹。百姓们恨透了这伙披着道士外衣，打着皇家旗号的恶人，可又无可奈何。
寨子内住着几户人家，有一对纯朴善良的年青人名叫山哥、水妹，从小青梅竹马，两小无猜，长大后一块儿砍柴耕地，捕鱼养蚕，相互爱慕已久，双方家长也十分高兴，只待择日成亲。谁料自从太监道士一伙人进山之后，横征暴敛，祸殃百姓，温饱难以为继，连准备盖新房的木料砖石也被抢走，哪还谈得上成亲，乡亲们也是愁肠百结，焦急万分。
山哥水妹是一对有志气有智谋的好青年，高高的山峰孕育出他们坚毅果敢的性格，清清的河水洗涤出他们坦荡无私的心胸。他们深知：个人婚事是小事，村中父老乡亲不能永远受苦受难，美好的家园不能永远让坏人蹂躏破坏，一定要想办法将这伙恶人赶走，不能让他们在这里炼制什么仙丹。经过一番谋划之后，他们二人乔装成进山砍柴的民工，混入炼丹场内，取得道士的信任，做了捣碎磁矿石，配制丹药的辅助勤杂工。他们一方面在村民中造出舆论，说炼丹砍树触动了山神的毛发，山神要惩戒不法之徒，策动砍柴彩矿的民工逃走。另一方面，他们寻机在配料时加大硫磺硝石的比例，并用山中特有的檀木加剧炉温。准备在金丹炼成之日使“九转仙丹”凝固在炉内取不出来，并继续增加炉温使丹炉炸毁。
然而好事难成，狡猾奸诈的太监道士对别人很不放心，对炼丹之事日夜监视，事事躬亲。当山哥水妹在捣药之时被道士看出破绽，太监廉澄勃然大怒，命人将山哥水妹捆绑起来，放到炉顶，并召集村中百姓来到炼丹场，他恶狠狠地说；“这两个人胆大包天，敢毁我炼丹大事，罪不可赦，今天我要把他们二人放在炼丹炉，炼成一种特制的金丹，看今后谁再敢与我作对！”
山哥水妹心情悲怆，表情安然。他们为不能为家乡父老解除苦难而深深遗憾。对即将失去年青的生命并没有丝毫懊悔，面对养育自己的青山绿水，父老父亲，他们百感交集，肝肠寸断，紧紧拥抱在一起，满怀深情地对乡亲们说：“18年来，我们在这块土地上勤劳度日，相亲相爱，还没来得及结婚就遇到了这伙恶贯满盈的太监道士，是他们破坏了我们宁静美好的生活，还要夺走我们年青的生命，这伙恶人神鬼不容，天人共弃，不会有好结果。今天我们即将离开人间之时，就让青山绿水为媒，父老乡亲作证，在这里举行我们成婚大礼吧！死后请把我们葬在这里……”
话未说完，忽然天空乌云骤起，雷声滚滚，电光闪闪，倾刻间天上裂开大口子，飘泼般的大雨铺天盖地而来，恶太监廉澄和道士被汹涌的泥石流挟裹而下，死无葬身之处，村民也惊恐四散。那熊熊燃烧的炼丹炉火逐渐熄灭，可怜山哥水妹由于长时间烈焰蒸腾烤，再加上雨水浇身，已化为永久的山石，长久屹立在这大山中。
今天游人从望孤亭远望小孤山，细细品味琢磨，那山体正象一对相拥相偎的恋人。后人有诗曰：恶道欺民炼金丹，神怒人怨驱邪端，山哥水妹千古颂，正义热血铸青山。大意上一样的还有一首：恶势欺民炼金丹，激怒山乡二青年，山哥水妹千载颂，热血铸就小孤山。
