晚年倾轧开皇十三年（593年），下诏建仁寿宫于岐州之北，使杨素监造。平山填谷，以建宫殿，规模很大。因督役严急，丁夫死者以万数。开皇十五年（595年），仁寿宫修成。文帝到了那里，看到宫殿十分壮丽，大怒道：“杨素殚民力为离宫，为吾结怨天下。”[35]杨素听了，很怕受处分。但独孤后对这所离宫感到很满意，文帝的态度也就变了。第二天召见杨素，赐钱百万，锦绢三千段。杨坚好猜忌苛察，容易听信谗言，到了晚年更是滥杀大臣，虞庆则、史万岁等功臣故旧先后被杀，此外，法制逐渐遭到破坏，用法“不复依准科律”，颁布诸如“盗一钱以上皆弃市”、“三人共盗一瓜，事发即死”之类的苛刻刑法，百姓惶恐。杨坚还热衷廷杖，“每于殿廷打人，一日之中，或至数四”。
同时，杨坚晚年颇受诸子的困扰。太子杨勇性宽厚，率意任情，无矫饰之行。他曾经把蜀人所做的精美的铠甲，再加装饰，文帝看了很不高兴。
独孤后又因太子妃元氏无宠，遇心疾而死，疑有他故，颇为不平，乃派人伺察太子过恶。而晋王杨广则矫情饰诈，内谄母后，外结朝士，特别是拉拢权臣杨素，积极进行夺取太子地位的活动。隋文帝先是软禁三子秦王杨俊；接着在开皇二十年（600年），将长子太子杨勇贬为庶人，改立次子杨广为太子；又于仁寿二年（602年），将四子蜀王杨秀贬为庶人。
离奇去世
仁寿二年（602年）独孤皇后去世后，宣华夫人陈氏、容华夫人蔡氏都受到杨坚的宠爱。
仁寿四年（604年），杨坚患病住在仁寿宫，尚书左仆射杨素、兵部尚书柳述、黄门侍郎元岩都进入仁寿宫侍疾。隋文帝杨坚召杨广入内居崐住在大宝殿。杨广考虑到如果杨坚去世，必须预先作好防备措施，他亲手写了一封信封好，派人送出来询问杨素。杨素把情况一条条写下来回复杨广。宫人误把回信送到了杨坚的寝宫，杨坚看后极为愤怒。天刚亮，宣华夫人出去更衣，被杨广所逼迫。宣华夫人拒绝了他才得以脱身。她回到文帝的寝宫，杨坚奇怪她神色不对，问什么原因，宣华夫人流着泪说：“太子无礼！”杨坚愤怒，捶着床说：“这个畜生！怎么可以将国家大事交付给他！独孤氏误了我！”[39]于是他叫来柳述、元岩说：“召见我的儿子！”柳述等人要叫杨广来。杨坚说：“是杨勇。”柳述、元岩出了杨坚的寝宫，起草敕书。杨素闻知此事，告诉了杨广。杨广假传杨坚的旨意将柳述、元岩逮捕，关进大理狱。他们迅速调来东宫的裨将兵士来宿卫仁寿宫，宫门禁止出入，并派宇文述、郭衍进入调度指挥；命令右庶子张衡进入仁寿宫侍侯杨坚。后宫的人员全被赶到别的房间去。随后，杨坚在大宝殿驾崩，在位23年，终年64岁，庙号高祖，谥号文皇帝，葬于泰陵（今天SX省XY市杨陵区五泉镇王上村东北）。
为政举措
政治三省六部杨坚废除不合时宜的北周六官（天、地、春、秋、冬、夏）制，恢复了汉魏时期的体制，基本上确立了三省六部制度。杨坚在中央设立三师、三公、五省。三师、三公只是一种荣誉虚衔。掌握政权的是五省，即内侍省、秘书省、门下省、内史省和尚书省。内侍省、秘书省在国家政务中不起重要作用。内侍省是宫廷的宦官机构，管理宫中事务。秘书省掌管书籍历法，事务较少。起作用的是其他三省，内史省、门下省、尚书省都是最高政务机构。内史省负责决策，门下省负责审议，尚书省负责执行。这就是后来被唐朝继承的三省制。
尚书省下设吏、民、礼、兵、刑、工六部。每部设尚书，总管本部政务。具体办事机构就是这是六部：吏部，掌管全国官吏的任免、考核、升降和调动；民部，掌管全国的土地、户籍以及赋税、财政收支；礼部，掌管祭祀、礼仪和对外交往；兵部，掌管全国武官的选拔，和兵籍、军械等；刑部，掌管全国的刑律、断狱；工部，掌管各种工程、工匠、水利、交通等。开始的时候，六部叫做六曹，即六个办事机构。六部的长官为尚书。六部的设置成为后代封建国家中央政权的固定制度。三省六部制分工明确，组织严密，加强中央集权。
地方行政开皇十年（590年）杨坚诏府兵入州县户籍，兵农合一始此。杨坚对于地方机构也进行了改革。他采纳度支尚书杨尚希提出的“存要去闲、并大去小”的建议，将原来比较混乱的地方官制从州、郡、县精简为州、县两级，撤消境内500多郡。同时，裁汰了大量的冗官，将一些郡县合并。大大节省了政府的开支，提高了行政效率，也减轻了人民的负担。为了更好地行使权力，控制地方，杨坚下令，九品以上的官员一律由中央任免。官吏的任用权一概由吏部掌握，禁止地方官就地录用僚佐。而且每年都要由吏部进行考核，以决定奖惩、升降。后来，又实行三年任期制。杨坚简化了地方行政机构，废九品宫人法，初创科举制。隋文帝命令各州每年推选三个文章华美、有才能的人，到中央受官。后来，隋文帝又下令，京官五品以上，地方官部管刺史，要由有德有才的举人担当。这种选拔政府官员的制度，使各个阶层有才华的人都有机会为政府效力。杨坚开创建立的科举制度，在中国历史上留存长达1300多年，直到清朝末期才废除，但当时的美英等国称奇并借鉴了这种选拔制度作为政府文员的聘用方法。
修订《开皇律》北周的法律既残酷又混乱。隋朝建立后，开皇元年（581年），杨坚下令命高熲等人参考魏晋旧律，制订《开皇律》。开皇三年（583年），杨坚又命苏威、牛弘修改新律，删除苛酷条文。《开皇律》将原来的宫刑、车裂、枭首等残酷刑法予以废除。规定一概不用灭族刑。减去死罪八十一条，流罪一百五十四条，徒、杖等罪千余条，保留了律令五百条。刑罚分为死、流、徒、杖、笞五种。基本上完成了自汉文帝刑制改革以来的刑罚制度改革历程，这就是封建五刑制。《读通鉴论》这样赞评道：“古肉刑之不复用，汉文之仁也。然汉之刑，多为之制，故五胡以来，兽之食人也得恣其忿惨。至于拓跋、宇文、高氏之世，定死刑以五：曰磬、绞、斩、枭、磔，又有门房之诛焉，皆汉法之不定启之也。政为隋定律，制死刑以二：曰绞、曰斩，改鞭为杖，改杖为笞，非谋反大逆无族刑，垂至于今，所承用者，皆政之制也。”死刑复奏制度是从开皇十五年（595年）形成定制的，杨坚规定凡判处死刑的案件，须经“三奏”才能处决死刑。《隋书·刑法志》：“（开皇）十五年制，死罪者三奏而决。”杨坚还下诏：“天下死罪，诸州不得便决，皆令大理复治。”《开皇律》对后世律法影响深远，杨坚修订的法律唐朝都基本上继承了。