王允企图削夺凉州兵将领的兵权，取缔全部凉州兵，并且计划利用关东兵去控制他们。

可是后来有人对王允说：“凉州兵素来害怕袁绍，畏惧关东兵，而今，如果选择解兵，凉州兵人人都会担心性命不保，可以任命皇甫嵩（字义真）为将军，去担任凉州兵的统帅，并让他长期留在陕县，以便安抚军心。”

王允坚决反对：“这样绝对不行，关东兵是反董卓的义兵，与我们是同一条路线，现在董卓已死，如果继续把他们屯驻在险恶之地，虽然安抚了凉州兵，但是关东兵将领会疑心我们不重视他们。”

董卓部将李傕、郭汜等为董卓报仇，在长安杀了王允的全家。

王凌和哥哥王晨当时年龄尚小，翻过城墙逃出，跑回太原。

早年就和司马懿的哥哥司马朗，贾逵等人结为好友，后来举孝廉出身，出任发干县（今山东省冠县）县令，后因罪获刑。

服刑期间，恰逢兖州刺史曹操巡察。

曹操得知他是王允的侄子，又系因公犯罪，当即解除他的劳役，委以骁骑将军主薄之职。

及中山太守，有治绩，后来得到受曹操赏识，出任丞相掾属。

黄初元年（220年），曹丕称帝后，王凌任散骑常侍，出任兖州刺史。

黄初三年（222年），参与洞口之战。

王凌与张辽等人进军到广陵，众将共破吴将吕范，因功封为宜城亭侯，加号建武将军，出任青州刺史时整理法度，重建当地战乱后的秩序，得到百姓称颂。

太和二年（228年），随从曹休征伐东吴，在夹石与吴军遭遇，魏军失利。王凌拼死突围，使曹休得以撤退。后又担任扬州和豫州刺史，颇得军民的欢心。

刚到豫州时，表彰当地先贤的后代，征召没有出名的俊才，各有指教，影响极好。

正始初年（239年），曹叡驾崩后，曹爽对他积极拢络，以为征东将军、假节、都督扬州军事。

正始二年（241年），吴国大都督全琮领数万人马进攻芍陂。

王凌率诸军迎战，奋战数日，斩杀秦晃等十余位东吴将领，吴军退走。

王凌因此进封南乡侯。

不久，迁车骑大将军，仪同三司，食邑一千三百五十户，在去年九月又升任司空。