人们都知道潮音桥的“桥里桥”与飞英塔的“塔里塔”、府庙的“庙里庙”并称为“湖州三绝”。其实潮音桥还有一个名字“哑巴桥”。

相传早年的潮音桥渡口风高浪急，过往行人全靠拉渡船。慈感寺坐落于河东，河西大批香客只能取道潮音渡进庙烧香。河东一家财主认为有利可图，于是买下一艘渡船，请一个哑巴替他撑船摆渡谋利。

心地善良的哑巴却希望用摆渡攒下的钱在渡口修建起一座桥，以便包括香客在内的行人不必再为摆渡破费。年复一年，哑巴通过劳动实现了愿望。而渡口修建的桥梁，也被人们称为“哑巴桥”。

但这件事却惹怒了财主。财主十分生气，仗着自己财大气粗，下令手下人来拆桥。哑巴见财主要拆桥，就拼死上前阻拦，结果被财主的手下殴打致死，并投入河中。事情传出，两岸百姓被激怒，纷纷上告官府，并凑足银两，要修一座更好的桥，来纪念哑巴。官府知道众怒难犯，惩罚了财主。

当地百姓后来便在木桥上造起了一座石桥，就是今天的潮音桥。因而就有一种说法，“桥里桥”指的正是石桥下还有一座木桥。为了纪念造福大家的哑巴，人们相约在过桥时不说话。长期以来，一切行人和来往船只，包括轮船开过，船老大们都要叮嘱乘客不得说话，当地人对此世代相传，一律遵守。