在古代，衙门是让百姓望而生畏的地方。俗谚云：“衙门八字开，有理无钱莫进来。”在古代的专制体制下，老百姓不可能对政府形成切实有效的监督。如何使公共权力受到相应的限制，防范贪污受贿，澄清吏治，稳定统治秩序。就成为执政者的要务。对此，除了制度建设外，历代形成了一些文化方面的举措。
任何朝代，大兴土木都是耗费民脂民膏的重要环节。对此，中国历代王朝经过长期的积淀，在制度上和习惯上都有一些值得重视的经验。首先，历代的制度对衙门的大小规制有明确的限制。比如，明清两代，不管是哪一级地方衙门，门面不能超过三间。两根柱子之间的宽度为一间，一间开门两扇，三间共六扇。久而久之，民间俗语里就用“六扇门”作为衙门的代称。这种规制，使衙门并不像今人想象得那么气派，实际上还有点寒伧。更重要的是，明清形成了一个惯例，人们一般称为“官不修衙”。因为修缮衙门必须使用经费，而这笔经费必须专项申报。在中国古代，要这样做就难免给上司留下一个奢侈豪华的印象，而且还会影响到赋税的上交数量，这就直接影响到对官员的考核评价。如果申报修缮衙门，上面就会多方核查，看你是否确有修缮的必要，进而再看你现有的经费使用是否合理，能不能不再追加经费。这样三拨拉两算计，没茬也能找出茬来，如果有贪赃受贿情形，弄不好还会东窗事发。即使没有贪赃，一般的违规总能发现一些。所以，申请修缮衙门的官员，往往也由此而断送了自己的前程。日积月累，使“官不修衙”成为官员自己也坚信不疑的准则。
可能有的朋友认为，一个地方长官，大权在握，在当地拉点“赞助”还不容易?事情没有那么简单。明清的士绅既有同官府勾结的一面，也有同官府抗衡以维护地方利益的一面。他们有时也会做“善事”，但这个“善事”怎么也摊不到修衙门上。有钱的地方头面人物，做“善事”总会期待某种回报。所以，企盼子弟中举当官、光宗耀祖的，往往会捐资兴建文昌庙、魁星楼；希望广结善缘、消解罪孽的，往往会捐资修庙塑像；喜欢热闹交往、赢得人望的，往往会捐资修建戏楼会馆。但修缮衙门对他们没有任何好处，还有可能打破他们与官府之间的“中介”格局，降低自己在民众心目中的威望。所以，乡绅一般不会傻到花钱买不自在，官员也不会主动找钉子碰。由于这些原因，明清时期，衙门往往是州县城内比较破败的建筑。
衙门的破败无疑会影响政府的形象，这一点，靠衙门外面的牌坊亭台来补救。州县衙门之外一般都有三座牌坊，衙门正面一座，东西跨街各一座。牌坊和衙门的照壁相对应，形成一个衙前广场。这个广场，就是州县的政治中心。牌坊的名称，要表现出这种政治中心的主题，有的叫“宣化坊”，有的叫“牧爱坊”，有的叫“忠廉坊”，用来表示衙门的教化牧民、廉洁奉公性质。明代朱元璋规定，衙门两侧要建立两个亭子，一座名“申明亭”，用来公布坏人坏事，劝善惩恶；一座名“旌善亭”，用来宣扬孝悌仁爱，贞节善行。
衙门正前，还有一个十分重要的圣谕亭，朱元璋建立明朝后，颁布《圣谕六条》，刻写于亭上。其内容为：“孝顺父母，尊敬长上，和睦乡里，教训子孙。各安生理，毋作非为。”清朝顺治沿用了明太祖的《圣谕六条》，康熙又把它扩充为十六条，其内容为：“敦孝弟以重人伦，笃宗族以昭雍睦，和乡党以息争讼，重农桑以足衣食，尚节俭以惜财用，隆学校以端士风，黜异端以崇正学，讲法律以儆愚顽，明礼让以厚风俗，务本业以定民志，训子弟以禁非为，息诬告以全良善，诫窝逃以免株连，完钱粮以省催科，联保甲以弭盗贼，解仇忿以重身命。”到了雍正，对康熙的“圣谕”详加解释，颁布《圣谕广训》，要求州县长官于朔望之日召集百姓细细讲解。这虽然很快就变成了形式化的官样文章，但官员每月两次宣讲，毕竟有一些积极效用。
衙门的大堂院落中间，还有一个亭子，名为“御箴碑亭”，人们通常称为“戒石亭”。所谓戒石，是对官员的警示，起自宋代。赵匡胤灭了后蜀，看到后蜀孟昶的《官箴》，其内容为：“朕念赤子，旰食宵衣。言之令长，抚养惠绥。政存三禩，道在七丝。驱鸡为理，留犊为规。宽猛得所，风俗可移。无令侵削，无使疮痍。下民易虐，上天难欺。赋舆是切，军国所资。朕之赏罚，固不逾时。尔俸尔禄，民膏民脂。为民父母，莫不仁慈。勉尔为戒，体朕深思。”赵匡胤觉得内容不错，于是摘录了其中四句：“尔俸尔禄，民膏民脂；下民易虐，上天难欺。”下令地方官员把这十六字刻石置于座右，号为“戒石”。朱元璋把戒石放大，移至院落正中，升堂办案，抬头可见。戒石面南向外的一面，则凿镌“公生明”三个大字。用这种方式，营造出一种廉洁奉公的文化氛围。
在衙门的大堂内外，有各种各样的匾额楹联。这种匾额，多数都引经据典，以显示出堂上官员的雅致和志向。例如，取《论语》中的“夫子之道，忠恕而已”，命名大堂为“忠恕堂”；取《尚书·皋陶谟》中的“百僚师师”，命名大堂为“师师堂”等。也有一些题匾直言为官主旨，为大堂取名“忠爱堂”、“体仁堂”、“平政堂”、“亲民堂”等等。堂名之外，大堂屋梁上也有匾额，常见的是“明镜高悬”、“公明廉威”等等，而且往往有多幅。明清时期，最常见的是“清慎勤”和“天理人情国法”。“清慎勤”强调的是官员的自律和敬业，“天理人情国法”强调的是官员处理政务的准则和尺度。后堂内衙，则往往取《论语》中的“退而省其私”命名为“退省堂”或“退思堂”等。
古代衙门，从建筑规制习惯到布局题匾，体现了传统积淀的文化色彩，构成了办理政务的文化环境，在一定程度上影响着官员的心理和行为。当然，在封建社会，这种文化所能起到的积极作用是有限的，清廉者可能身体力行，贪赃者可能我行我素。据清代赵翼《陔余丛考》转引《瓮牖闲评》记载，针对有些官员置戒石铭的警诫于不顾，口头清廉奉公、实际搜刮无度的行径，有好事者在戒石铭每句下各添一句，改为“尔俸尔禄，只是不足；民脂民膏，转吃转肥；下民易虐，来的便著；上天难欺，他又怎知”。可见，文化建设必须同制度建设相辅相成。