余氏家厅位于汾口镇赤川口村中，又名象贤堂，明代建筑。赤川口村曾出过余思宽（永乐十三年）、余乾贞（隆庆三年）等几位进士。

余氏家厅由门厅、正厅和天井三部分组成，最有特色之处当为门厅（门楼）——整个门厅以木雕为装饰，图案丰富，雕琢精巧，有较高的历史、科学和艺术价值。

余氏家厅为木构建筑，占地约380平方米，平面呈长方形，东北、西南方向长，东南、西北方向短，由门厅（门楼）、正厅和天井三部分组成。坐东北朝西南，面宽五间14.8米，门厅进深5.75米。门厅分前后两半，筑成牌楼式样，重檐歇山顶，嫩戗发戗，额书“科甲传芳”四字。明间次间各有大门出入，明间大门上方悬挂万历二十八年的“祖孙进士”、“兄弟登科”匾额。稍间筑有八字墙，与正厅相连成廊。装饰主要集中于明次间额枋上，雕饰各种人物，飞禽走兽，造型各异，雕琢精巧。铺间，柱头及转角处均有斗拱结构，但不承重，仅作装饰。

正厅明间悬挂“象贤堂”匾，两次间分别悬挂永乐乙未年和隆庆戊辰年“进士”匾。天井呈长方形，长约7.9米，宽约4.4米，用大青石铺砌而成。

余氏家厅蕴藏着丰富的历史信息和厚实的文化内涵。其建筑特征不仅具有徽派风格，同时也有较鲜明的地域特色。尤其是建筑上的木雕和砖雕艺术，精巧繁缛，鬼斧神工，表现了高超的艺术水平。对于研究我国明清时期南方民间建筑和农村宗族关系都具有相当价值。

1985年8月公布为县级文物保护单位，至2005年3月16日，浙江省人民政府又公布为重点文物保护单位。