汉武帝生平最讨厌的就是外戚，他刚刚登基的时候就有个窦氏家族，朝政大权一直都在窦太后的手里，窦太后的侄子还掌握着汉朝的兵权，这就导致汉武帝毫无实权，活的非常憋屈，一直到窦太后过世，朝政大权才回到了汉武帝的手中，汉武帝要做的第一件事就是清除外戚的势力，首当其冲的就是窦氏家族。

卫青一家都是出身卑贱，慢慢的发展成了名门望族，从某种程度上来说，不仅仅是因为卫青等人的能力强，这也是汉武帝刻意为之，他需要卫青的家族来打压其他外戚，随着历史的发展，卫青家族规模越来越大，成为了当时最大的一个外戚。

卫青的儿子都被封了爵位，就连他的外甥等人，一些旁支地位都水涨船高，全家享尽了皇帝的恩泽，在他们得势的时候，肯定会有无数人会不停的给给汉武帝打小报告，卫青活着的时候，汉武帝需要他，自然不会对他的家族下手，等到卫青死了之后，他的家族也没有出现第二个卫青，对于汉武帝来说就没什么用了。

这时候的汉武帝也已经渐渐年迈，他在死之前肯定要解决掉卫青家族，前面说了汉武帝是非常痛恨外戚的，所以说卫青家人被被除掉很正常，有人说汉武帝要除掉卫青家人，这是因为汉武帝已经不宠爱卫子夫，所以自然不会照顾他的家族。

实际上汉武帝不待见卫子夫，最大的原因是汉武帝这个时候已经要限制外戚，限制卫家的发展所以才会刻意的疏远卫子夫，巫蛊之案爆发之后，卫家彻底败亡。