怀远楼建于1905-1909年，是目前建筑工艺精美、保护好的双环圆形土楼。楼高四层13米，直径38米，每层34间，共136间，为简氏家族所建。怀远楼引人注目之处在于内院核心位置的祖堂，也就是家族子弟读书的地方“斯是室”。“斯是室”精巧秀气，上下堂建筑占地190平方米，室内雕梁画栋，古朴天然，书卷气浓。怀远楼为二环楼，建筑师是振成楼的建筑师，楼的设计相当工整。楼内有块何应钦赠送的金匾“助我义师”，楼前平地有块用鹅卵石排成的太极图案。土楼和村子被水稻田和茶山包围着，一幅安宁的田园图。怀远楼的楼基用巨型鹅卵石和三合土垒筑3米多高，墙体至今光滑无剥落。站在楼外墙边把脸贴着墙向上看，能看到楼基下围小，中间大，上层又逐渐缩小，好象橄榄状，此结构符合力学，可抗风，使楼更结实。