西递旧称西川，三条溪流由东而西穿村而过，因水闻名；又因在村西1.5公里处是古代的驿站，又称“铺递所”，西递之名由此而来。

　　据胡氏宗谱记载，西递胡氏始祖为唐昭宗李晔之子，公元904年，唐昭宗迫于梁王朱全忠的威逼，仓皇出逃，皇后何氏在行程中生下一个男婴。时有新安婺源人胡三宦游于陕，秘密将太子抱回徽州婺源考水，将其取名昌翼，改姓胡。昌翼即明经胡氏始祖。

　　1047年，胡昌翼后代胡士良因公往金陵，途经西递铺见其地群山环抱、风景秀丽、土质肥沃，遂举家从婺源考水迁至西递。从此在西递耕读并举，繁衍生息。

　　1465年后，西递人口剧增，西递胡氏祖先“亦儒亦商”跻身于徽商行列，西递的财富迅速积累，大量的住宅、祠堂、牌坊开始兴建。

　　1573年──1620年西递村重修了会源桥和古来桥，并在两桥之间沿河渠建造了一批住宅。胡仕亨后代在其旧居基址上建起敬爱堂后，西递的中心就渐渐地从东边移至会源、古来二桥之间。

　　1662年──1850年，胡氏家族在经商、仕途上一帆风顺。西递在人口、经济和建设的发展达到鼎盛阶段。胡氏24世祖胡 学梓（字贯三）曾经营36家典当行和20余家铺庄，遍及长江中下游各大商埠，资产折白银500余万两，财力居于江南巨富第六位。其家在西递建有祠堂（追慕堂）和宅第数处，胡贯三不仅经济实力雄厚，而且与当朝宰相曹振镛结为亲家，地位相当稳固，为迎接曹来西递，还在村口兴建走马楼，村中建迪吉堂等建筑，以示其荣，以显其富。