与淮南王刘安一样，当时投奔衡山王的人有不少都是野心勃勃之辈，他们在得知衡山王素有谋反之意后，便极力对其蛊惑。于是，衡山王刘赐便派刘孝的门客江都人枚赫、陈喜制造战车弓矢，篆刻天子玉玺及将军、丞相、军官大印，又时常与这些人商议起兵细节。
元朔六年（前123年），衡山王再次入京朝见，在路过淮南国时，淮南王刘安与其叙起兄弟深情，两个野心勃勃之辈遂摒弃前嫌，相约共同谋反。这次会面，使得刘赐的谋反之心更为坚定，他随即上书朝廷称自己有病，无法按照计划入京朝见，在得到汉武帝准许之后，便就此返回了封国。
返回封国之后，刘赐一方面加紧筹备谋反事宜，另一方面则上书朝廷，请求废除太子刘爽，改立刘孝为太子。
刘爽得知消息后大怒，立即派好友白赢到长安上书，告发父亲衡山王刘赐和弟弟刘孝意图谋反，以及刘孝与衡山王侍者通奸等事。
然而，由于当时朝廷正在查办淮南国的案子，为了防止淮南国的使者在京城刺探情报，京城对于诸侯国使者盘查极为严格，结果白赢还没来得急上书便被逮捕了，虽然事后查明他与淮南国并无关系，乃是来自于衡山国，但还是被关押在了大牢之中，直到后来廷尉张汤提审。
衡山王刘赐得知消息，担心白赢供出自己参与谋反之事，便决定先下手为强，上书告发太子大逆不道之罪。汉武帝遂下令将此案交给沛郡审理。
元狩元年（前123年）冬，白赢在张汤的一番审讯下，供出了衡山王参与谋反之事，同时交代出了参与谋反的刘孝门客陈喜。廷尉张汤没想到又被自己抓到了一条大鱼，立即将此事上奏汉武帝，取得同意后立即派人赶赴衡山国，并在刘孝府上将陈喜捉拿归案。
陈喜到案后，很快便交代了衡山王刘赐和儿子刘孝谋反之事，并将自己替衡山王刘赐所做的事情和盘托出，公卿大臣为此纷纷上书弹劾刘孝包庇窝藏陈喜之罪。
刘孝自然知道陈喜与父亲密谋造反之事，年少的他在陈喜被抓之后便整日担惊受怕，一方面担心陈喜将自己供出来，另一方面也担心白赢趁机攀咬自己。为了获得赦免，刘孝心一横便选择了抢先自首，供出了父亲密谋造反之事，并将参与谋反的枚赫、陈喜等人一并告发。
张汤拿到这些铁证，再次上书汉武帝，请求逮捕衡山王刘赐治罪。汉武帝遂派中尉司马安、大行李息前去审问衡山王，刘赐自知无法抵赖，只得如实招供，随之被幽禁于衡山王府。
中尉司马安、大行李息回京禀报汉武帝后，汉武帝又命宗正、大行李息和沛郡郡守一起查办衡山王刘赐，刘赐得知消息后，自知难逃严惩，最终选择了自杀。刘孝虽然因为自首被免除了谋反之罪，但还是因为与衡山王婢女通奸之罪而被杀。此外，王后徐来因为谋害前任王后乘舒，太子刘爽因为告发王父为不孝，也都被斩首示众。其他参与衡山王谋反之事者也都被正法，衡山国随之被废。
事后，段宏由于此前先后两次出使淮南，不仅未能查获淮南王谋反证据，更未能及时察觉出淮南王谋反迹象，差点给朝廷酿成巨祸，因此被罢免中尉一职。
虽然先后两王因谋反被杀，但张汤似乎并未打算作罢，经过进一步深入追查，不久便又有一位诸侯王被牵连了进来，他便是江都王刘建。
刘建生性极为好色，而且色胆包天，早在他还是王太子时，邯郸人梁蚡带了一个女子想要献给其父江都易王刘非，刘建听说这个女子很美，便将其私下里扣留了下来，气的梁蚡怒斥其“儿子竟与父争妻！”刘建听说后大怒，派人将梁蚡杀死，只因恰逢朝廷大赦这才没有被治罪。
元朔元年（前128年），江都易王刘非薨逝，刘建还不等父亲下葬，便与父亲所宠爱的美人淖姬等十余人厮混在了一起。不仅如此，刘建连自己的亲妹妹也没有放过，他趁着已经嫁给盖侯之子的妹妹刘征臣回来奔丧，而与其私通。
刘建除了好色之外，性格也极为残暴，时常以各种方式残害他人而取乐，例如他游览建章台宫时，曾让四个女子乘船，他却突然将船踹翻，以致两人被淹死。又如游览雷波时，正好遇到刮大风，他又强命两个男子乘船入波中，结果导致两人因船翻落水，他非但不许人救援，反而看着两人在水中时隐时现取乐，以致两人被淹死。再如宫中姬妾稍有过错，他便以放狼撕咬、鞭打等各种方式将其折磨致死。
由于太过淫乱暴虐，自知自己罪孽深重的刘建，便也时常担心自己有一天会罪行暴露被杀，于是又和王后成光一起用巫蛊之术诅咒汉武帝。后来，他风闻淮南王和衡山王阴谋造反，他便也打造兵器、招揽人才，准备起兵响应。
张汤在查出江都王刘建的反迹后，再度上书汉武帝，汉武帝遂命丞相长史和江都相前去查办，结果搜出兵器、皇帝印玺、绶带旌旗等各类器具。
汉武帝于是诏命公卿大臣讨论治罪。大家听说了刘建的罪行后，纷纷表示，“刘建久失臣子之道，一直蒙皇恩不忍惩罚，反而图谋反叛。他的所作所为已无人道，就是桀纣也难以相提并论，足以天诛地灭，理应以反叛罪诛杀。”
汉武帝于是命宗正、廷尉前去审问，自知难逃一死的刘建也选择了自尽而死，王后成光等人也随后被处以弃市之刑，江都国亦被废为广陵郡。
由于廷尉张汤在查办淮南王刘安、衡阳王刘赐、江都王刘建谋反案件中尽心尽力，再加上他极善于把握汉武帝的心思，因而愈来愈受到重用。元狩二年（前121年），丞相公孙弘病逝，御史大夫、乐安侯李蔡继任丞相，张汤则因此升任御史大夫。