奎聚楼是宫殿式结构的方楼，远看颇有"布达拉宫"般的气势。从高处看，楼宇与背后的山脊连城一体，如猛虎下山，奎聚楼既是"虎头"，楼前围墙上有两窗，似虎眼，建筑时便是根据虎形地理特点而设计的。设计人是翰林学士巫宜福，他与楼主林奎扬是结拜兄弟。 奎聚楼建于1834年，已有160多年历史。占地6000平方米，高约15米，用3年时间建成。现住24户，107人。一百多年里，楼里考取进士和官至七品以上的有4人，大学生有20多人，海外华侨有40多人，正如大门对联所言："奎星郎照文明盛，聚族于斯气象新"。
奎聚楼的建筑特点是中厅高，两厢低，经160多年风雨，岿然如山。中门平时不开，贵客来到，才打开中门迎接。楼内檐梁雕刻十分精美，"文革"期间受到破坏。