秦朝实行“三公九卿制”，其中位列三公的御史大夫便担负着监察百官的职责。不过，御史大夫虽然名义上负责监察百官，但由于其还担负着执掌群臣奏章、下达皇帝诏令等职责，实际上主要工作仍然是协助丞相处理政务的副相，而很少发挥监察职能。具体的监察事务，实际是由御史大夫下属的御史中丞、侍御史、监察御史等官员负责。

小主，

在地方，秦朝则设有郡监御史，负责监察郡守、县令等地方官吏。郡监御史直属于中央朝廷，不受地方长官节制，从而确保了朝廷对地方官员的有效管理。

汉朝初期，承袭秦朝制度，同样设置了御史府，与丞相府合称“二府”，由于太尉一职并不常设，丞相府和御史府实际上就是汉初最高的决策部门，再加上御史大夫作为副相，一定程度受丞相辖制，因此汉初丞相的权力才会那么大。不过，与秦朝一样，御史大夫虽有监察百官之权，但实际却不履行监察职责，监察权由其副手御史中丞主持。

汉初，为恢复民生和经济，调动地方积极性，朝廷实行“无为而治”，给予了地方极大的自主权，再加上朝廷与异姓诸侯王和匈奴严重冲突，因而一定程度放弃了地方监察问题。因此，汉初虽设有御史府，但其监察对象却主要是中央朝廷官员，没有像秦朝那样设置郡监御史。

直到汉惠帝时期，随着异姓王的消灭和匈奴威胁的减轻，这才重新设置郡监御史一职，主要负责“察有司讼者，盗贼者，伪铸钱者，恣为奸诈论狱不直者，擅兴徭役不平者，吏不廉者，吏以苛政故劾无罪者，敢为逾侈及弩力十石以上者，非所当服者”等九项事务，加强了对地方的监察，而为了防止郡监御史与地方官员勾结，还规定每两年要轮换一次。

不过，由于惠帝朝吕后掌权、朝政混乱，郡监御史制度并未发挥应有的作用，不仅有大量郡监御史玩忽职守，更有甚者与郡守等地方官员相互勾结，共同欺瞒朝廷。

汉文帝即位之后，以诸侯王继承皇位的他，为了稳固统治，及时了解各地的风吹草动，在原有郡监御史制度无法发挥作用的情况下，又在御史府之外，于丞相府建立了另外一套地方监察制度，即丞相史出刺制度，与郡监御史制度并行。

丞相史是丞相的属官，共有十五人，分为东西两曹，其中东曹九人，按照古九州的分布将天下分为九州，每人监察一州。该制度的建立，虽然让丞相也拥有了监察职权，扩大了丞相的权力，但丞相史却不常设，属于临时派遣官员，由丞相定期派遣吏员前往地方巡查。

郡监御史制度和丞相史出刺制度，两套监察制度并行，虽然能够起到互相监察、相互牵制的作用，然而由于丞相史并不常设，实际上仍然很难整体改变地方监察不力的局面。

为了改变这种局面，汉武帝经过思索之后，决定对原有的地方监察制度进行改革。不过，由于早年间朝廷忙于征战，没有大规模改革的条件，汉武帝也只能采取有限的补救措施，例如派出“绣衣使者”督察各地，虽然这些使者直接对皇帝负责，办案不讲情面，确实很能震慑大小官员，然而与丞相史一样，由于这些“绣衣使者”为临时派遣官员，只能算是临时补救措施，无法从根本上扭转监察不利、吏治败坏的问题。

直到四方平定，朝廷对外再无大战，汉武帝这才开始思考完善监察制度，从根本上解决对各级官员的监察问题。

当时郡监制度的败坏，一方面是由于汉武帝以来随着国家的扩张和郡国的拆分，到元封年间时，作为一级行政区、直接受朝廷管理的郡国已经多达上百个，这无疑给朝廷管理带来了极大的困难，朝廷根本无法有效监督郡监的履职情况；另一方面则是由于郡监随郡而设，与地方官员来往密切，极容易与郡县官员产生利益纠葛，从而导致地方上形成官官相护，共同蒙蔽朝廷的情况。

元封五年（前106年），汉武帝在秦朝以来郡监制度的基础上，重新设立了一套地方监察制度。汉武帝依据《禹贡》《职方》等古籍，将天下分为十三州，即豫州、冀州、兖州、徐州、青州、荆州、扬州、益州、凉州、幽州、并州、朔方州和交州，每州设刺史，专门负责对州内郡守和地方豪强的监察工作。