军事制度方面，隋朝分置诸卫，统率军府宿卫的制度源自西魏北周时的十二大将军制，设置司卫、司武官，统率府兵宿卫宫禁；又有武侯府统率府兵巡警京城，各置上大夫。隋初沿北周之制，隋文帝设置中央管理机关为十二卫，此即十六卫的前身。十二卫分为左右翊卫、左右骁骑卫、左右武卫、左右屯卫、左右候卫和左右御卫。十二卫负责戍卫与征战，戍卫分为内卫与外卫。有战事时，皇帝诏命行军元帅或行军总管为战时指挥官，组成作战组织。例如隋灭陈之战因为战区较大，行军元帅有杨广、杨俊及杨素，由杨广统一调度。
大业三年（607年）隋炀帝将十二卫扩充成卫统府的制度，这是为了扩张军事力量、加强中央侍卫力量以及分散诸将权力。卫统府有十二卫四府，合称十六卫或十六府。新成立的四府为：左右备身府和左右监门府。十二卫负责统领府兵与宿卫京城；四府不统府兵，左右备身府负责侍卫皇帝；左右监门府分掌宫殿门禁。十二卫率领外军，属于左右翊卫的骁骑卫军、左右骁卫的豹骑军、左右武卫的熊渠军、左右屯卫的羽林军、左右御卫的射声军和属左右候卫的佽飞军。左右翊卫兼领内军。内军指左右翊卫的亲、勋、翊三卫统辖的五军府和另属东宫的三卫三府之兵，均由达官子弟担任。
隋文帝又将全国各地划分为若干军事区域，设总管负责该地区军事，平时备边防患，战时奉命出征。总管设有总管府，分上中下三等。另外尚有四大总管：晋王杨广镇并州、秦王杨俊镇扬州、蜀王杨秀镇益州、韦世康镇荆州。隋朝共设有三十至五十多个总管，以长安为中心分为东西南北四大军区，驻守天下诸州以抵御外患。并且以北部边疆地区为重点，镇守要害。军区共有：北及西北八府，主要防御突厥汗国；东北七府，防御突厥汗国和契丹；中西部八府，拱卫畿辅，扼守江源；东南九府，守南方形胜险固之地；另有防御吐谷浑的叠州，镇爨族之南宁；之后又增加遂、泸二府以防备当时的西南各部落。后来唐朝也继承这种作法，并且发展成“道”的军区或监察。
隋文帝对府兵制也有所改革。将北周官职品级制度和文臣武将都纳入同一个等级系统内。590年颁布关于将军户编入民户的命令，军人除了自己本身军籍，还可以同家属列入当地户籍，按均田制授田，免除租庸调，并按规定轮番到京城宿卫，或执行其它任务。这个命令减轻中央朝廷经济负担，并且使军人能够和家属同住，也扩大朝廷兵源，堪称兵农合一。
