鼓楼位居中卫市区正中，清初名曰文昌阁，始建于明崇祯四年(1631)。清嘉庆二十二年(1817)七月十四日庙会时不慎失火焚毁，仅存基址。道光十一年(1831)，知县艾椿年率典史沈垣与当地士绅一道捐资重建，翌年建成。

1955年，拨专款对鼓楼包砖修整；1988年、1992年、1997年原中卫县又先后3次拨专款粉饰彩绘，使鼓楼以崭新的面貌屹立于市区内。

鼓楼底基呈长方形，南北长为224米，东西宽为1665米。基座正中为“十”字形门洞，分别通四面街道。门洞高3.75米，中间为穹窿顶，正中有八卦藻井，八卦图周围悬木雕八仙像，4个角嵌有石雕龙首，昂然相对。基座四面门楼上有匾额，是按方位反映中卫地理形胜的。其东曰“锁扼青铜”，南曰“对峙香岩”，西曰“爽挹沙山”，北匾原为“控制边夷”。1984年维修时，按照党的民族政策，遵循文物维修原则，改为“控制边陲”。

鼓楼楼高23米，通高30米，重楼3层，是一座四方台基拱洞型的楼阁建筑，楼型为四面八方一体式，楼之西南角有一小门可通达楼基上部。基座之上正中为三重檐十字型歇山顶的主楼，每面3开间，3层3檐，每层有12翘角，上层四面有观景回廊。楼基四面建有小型陪楼4座，其内壁分别刻记鼓楼始建、重建的背景、时间、经过及有关事项等。楼顶正中竖垒黑色陶球6颗，四周置蟠龙，组成群龙戏珠画面，但从不同角度看，均为二龙戏珠。

各层之上原有塑像，1951年被拆毁。1992年10月，原中卫县文物管理所本着恢复文物原貌的精神，在征得有关部门同意后，自筹资金着手复原。上层塑魁星，中层塑文昌，下层四面塑雷祖、火帝真君和观音菩萨。