��被召回，继任的董卓又被张角击败，于是朝廷下诏命皇甫嵩率兵进击，就在这紧要关头，张角突然病死，张梁担起守卫广宗的重任，皇甫嵩攻城是因张梁集中了精锐部队，所以未能得逞，便闭营休兵，以观其变，等到张梁被迷惑，放松了警惕。皇甫嵩立即乘夜调兵，鸡鸣时分冲入其阵，黄巾军仓促应战，张梁战死，阵亡三万多人，但是投河而死的有五万多人，而皇甫嵩焚烧黄巾辎重车三万多辆，将张角“剖棺戳尸，传首京师”。

  十一月，皇甫嵩又与巨鹿太守冯翊，攻克下曲阳，杀死张宝，斩杀俘虏十余万人，皇甫嵩将十万人的尸骨筑成了“京观”，因为皇甫嵩的功绩，朝廷任皇甫嵩为左车骑将军，领冀州牧，并晋封皇甫嵩为槐里侯，食槐里、美阳两县的租税，食邑共八千户。

  同年，湟中胡人北宫伯玉和先零羌起事，共拥边章、韩遂为帅，攻杀护羌校尉泠徵、金城太守陈懿，并且在公元185年，北宫伯玉等入侵三辅地区，朝廷诏令皇甫嵩回镇长安，保卫皇家园陵。

  当初皇甫嵩征讨张角时，途经邺地，发现中常侍赵忠在当地的住宅超过了相关规定，便上奏皇帝予以没收，另外，中常侍张让当时向皇甫嵩索要五千万钱，皇甫嵩自然是不会给的，于是赵忠和张让就联起手来，劾奏皇甫嵩连战无功，耗费钱粮，因此灵帝听信谗言，召回皇甫嵩，收回他的左车骑将军印绶，削夺封户六千，改封都乡侯，食邑二千户。

  公元188年十一月，凉州人王国包围陈仓，在此用人之际，汉灵帝又任命皇甫嵩为左将军，督领前将军董卓，各率两万士兵拒敌，董卓提出迅速进赴陈仓，认为“聪明人不失时机，勇敢的人不迟疑。现在救，城就可以保全；不救，城就会破灭。保全或破灭的形势就在此时。”

  皇甫嵩却认为“百战百胜，不如不战而屈人之兵。”，拒绝了董卓的提议。

  于是在公元189年，王国围攻陈仓从冬到春，已有八十多天，但由于城坚守固，最后也未能攻下，部众都疲劳不堪，只好解围撤退，而这时皇甫嵩立即起兵追击，董卓这时又劝阻道，“兵法上说，被击败的敌人，不要追赶，撤回去的部队，不要逼迫。现在，我们追击王国，是逼迫撤回的部队，是追击被打败的敌人，被围困的野兽，还要挣扎，蜂虿有毒，何况这么多人呢！”

  而皇甫嵩则说：“以前我不进击，是躲避他的锐气，现在进击，是等到敌人衰弱的时候。我们进击的是疲敝的敌人，不是撤回去的部队。王国的部队，准备逃走，没有斗志。用堂堂之阵，进击溃乱之师，这不是叫做追穷寇。”

  说完，皇甫嵩便独自率兵追击，而命董卓殿后，皇甫嵩连战连捷，大破王国的部众，斩杀一万多人，董卓因此又惭愧又遗憾，愈加忌恨皇甫嵩。

  公元189年，灵帝病重，便任命董卓为并州牧，让他把部队交给皇甫嵩统领，而董卓不肯奉命，毕竟董卓也知道在这乱世，兵权才是最重要的，所以皇甫嵩的侄儿皇甫郦认为董卓逆命怀奸，罪在不赦，力劝皇甫嵩兴兵讨伐，而皇甫嵩则是直接将此事上奏，朝廷因此责备董卓，董卓对皇甫嵩更增怨恨。

  公元190年，董卓乱洛阳后，为防后院起火，征京兆尹盖勋为议郎，皇甫嵩当时统兵三万驻扎在扶风郡，于是盖勋秘密与皇甫嵩商议讨伐董卓，但董卓同时也召皇甫嵩为城门校尉，想要寻找机会将他杀掉。

  当皇甫嵩应召将行，长史梁衍劝他起兵抗拒董卓，与袁绍呼应，皇甫嵩不听，盖勋因自己兵弱不能独立，也回到洛阳，皇甫嵩一到，主管官员便秉承董卓之意，上奏朝廷，将他交付审判，想把他杀掉。

  皇甫嵩的儿子皇甫坚寿跟董卓有交情，从长安跑到洛阳，投奔董卓，董卓正摆设酒宴，