欲扬故抑·欲抑先扬·外示优崇，暗行贬抑
杨素积功累累，皇帝所给予的宠遇也在所有朝臣之上，尤其是仁寿初年代替高颍担任尚书左仆射以来，荣耀几乎归于一门，同为尚书列卿者有他的胞弟杨约、叔父杨文思、杨文纪以及堂叔杨异;杨素的公子们毫无汗马功劳可言，也都一个个不是柱国就是刺史。高第华宅与宫廷相似，服役童仆数千，承欢妓妾亦达千余，真可谓是富贵无比，仅次于皇帝一人。富贵总是与权势为同行伴侣，杨素的权势之炙手可热，也是人所共知。他党同伐异，辣手无情，顺之者则昌，逆之者则亡。他先后参与筹划废除太子杨勇、蜀王杨秀的阴谋活动，栽赃诬陷贺若弼、史万岁等忠于朝廷的功臣，因此整个朝廷对他噤若寒蝉，莫不强颜畏服。当然也有不信邪的，如兵部尚书柳述，就自恃身为驸马，屡次在高祖面前揭杨素的短处，大理卿梁毗亦上表指责杨素作威作福。隋高祖在这种情况下开始疏远杨素，后来干脆下诏，要杨素不必每天去亲自处理有关琐细事务，若有重要工作，只须三五天一次集中评议一下就行了，否则身任宰辅，事必躬亲实在太过辛苦。隋高祖这番话说得很客气，很漂亮，好像特别关心杨素的身体健康，其实是借机剥夺杨素的权力。这种状况一直持续到隋高祖仁寿末年，杨素始终有职无权。隋炀帝杨广即位以后，也仍然仿效他老子处理杨素的那一套，表面上对杨素加官进爵，暗里却处处抑制，使杨素不能兴风作浪。他对杨素的能量实在了解得太清楚了，他能从晋王一跃升为太子以及最终稳稳地登上皇位，至少有一半以上是杨素的功劳。这样的危险人物，他怎会让他再手握实权?他甚至于比他老子更进一步，多少次祈祷过杨素早日魂归九泉。当太史向他报告隋朝的星象分野内将有重要人物面临生命之忧时，他便很自然地将杨素改封于楚地，因为根据厌胜术，楚与隋同在这一星象分野之内，他试图通过这种方式将大难转嫁到杨素头上。杨素真正病重之时，炀帝虽然屡次派名医为他诊治，并赐予最好的药物，暗中老是问这些御医杨素还能活多长时间，他实在是惟恐杨素不死。杨素一点也不傻，他还不明白高祖和炀帝这一对父子对他的真实用心?所以患病之后既不服药，又不调养，终于在大业二年(606)病死。(《隋书·杨素传》)