杨绍先先是务农.后来行医为生。由于他从小天资聪慧，又勤于旁学野读，故而识得不少文字.这一年，他的母亲不幸得了一种怪病，每次发病时滴水不进，疼痛难忍，经过多方求医，也没能把病治好。有一天，杨绍先听说关外的一个神医能治疗这种病。随后，他拜别母亲，辞别妻儿，一路乞讨，终于找到了这位神医。这位神医被他的孝心所打动，决定将祖传秘方传授给他，接下来，杨绍先就跟着学上了医术。这天，杨绍先认为学得差不多了，便告辞回家给母亲治病。途中路过京城，他见城墙上贴着一份皇榜，原来是皇帝的母亲身患怪病，御医无人能治，特悬榜招贤。若有人能将皇太后的病治愈，皇帝将赏赐黄金百两，也可封官在朝。杨绍先一看榜中所述的病情与自己母亲的病一模一样，遂揭榜进人皇宫。经对症下药，没过多久，皇太后的病就好起来了。接着，他急于要赶回老家，谁知公主看上了他，皇太后也喜欢上了这位救命郎中，就宜言不讳地讲明要招他为附马。这对救母心切的杨绍先来说，如五雷轰顶，当头一棒。他抱定决心，死不认从。因得罪了皇太后，杨绍先被打人死牢。临刑前一天，牢头偷偷告诉他:“明天将有监斩官送行，你把冤屈写在纸上，请监斩官转送乾隆爷，说不定会有转机，我把纸给你备好了，你就快点写吧!”这位监斩官还真把杨绍先的状子递给了乾隆皇帝。乾隆皇帝这才知道，原来杨绍先已有家室，他为了给母亲治病，不远千里，乞讨拜师，很不容易.‘此乃天下第一孝子!”乾隆皇帝说道，随即御批:“免斩，赐银回家..

    杨绍先得到赦免后，日夜兼程赶往家巾，可母亲已经病故几为了尽孝，他在母亲坟前搭起了草舍，从此守坟三年。相传有一年黄河夺淮，水头丈高，老百姓都往高处逃命，杨绍先却迎着水头，直到他母亲的坟上.绕坟嚎位，霎时，黄水斜行而过，他和他母亲的坟都躲过了这场水灾。

    再说公主遭杨绍先拒婚以后，不仅没有嫉恨他，反而更加赏识他的为大。久而久之，竟然得了相思病，不吃不喝，日见消瘦。这病，连御医也没有办法治。乾隆皇帝万分焦虑，特召集群臣献计献策.在场的一位人臣忽然提起杨绍先，乾隆皇帝当即决定，令杨绍先火速进宫救公主性命，可此时的杨绍先已经离开人世好儿天了.当村里的人们见到钦差大人时，纷纷跪拜在地.请求朝廷给杨绍先一个孝子的名分。不久，赐建孝子的圣旨就传过来了.

    不知何年何月，孝子坊坍塌不见了。直到1995年，孝子制作的一些残存构件才被当地村民发现，随后这座孝子坊又被重新立了起来。该牌坊样式为二柱间冲天式，高12米，宽6米，结构简单，不事雕琢。额仿题刻“清故孝子杨绍先”，立柱题刻楹联:生前尽力.死后尽思.念幼劳于父毋戴仁而行，抱义而处.发清白于子孙。

    该联落款.淮安府知府富斌拜撰’。据清《山阳县志·卷六》载，富斌为镶黄旗人，道光年间任淮安府知府，“四年、五年、七年再任，.由此推测，该坊应该建于清道光年间。

另外，在这座孝子牌坊上还新添加了一块大字板，其上题刻“孝子坊”及“文官下轿”、武官下马”诸字.立柱前后的依柱石，用砖和水泥取而代之。至此，这座孝于牌坊基本恢复了原貌。其他人阅读了天下第一石雕牌楼。