等杨广继位后，西域诸国纷纷前往张掖，同中原往来通商，裴世矩奉命监管互市。
他知道杨广有吞并西域的打算，便查访西域的风俗、山川等情况，撰写《西域图记》三篇，回朝奏明朝廷。
杨广大喜，每日都向他询问西域情况。裴世矩盛赞西域珍宝，又提议吞并吐谷浑。
所以杨广遂命裴世矩经略西域，又拜他为民部尚。
不久，裴世矩升任黄门侍郎、参预朝政，并前往张掖，引导西域蕃邦入京朝贡。
杨广祭祀恒山时，西域有十几个国家遣使助祭。
大业四年，裴世矩游说铁勒，让他们出兵攻打吐谷浑。
吐谷浑大败，可汗伏允向隋朝遣使请降，并求取救兵。
杨广命杨雄、宇述率军迎接。伏允畏惧隋军，不敢投降，率部西迁。
宇述攻入吐谷浑境内，夺取曼头、赤水二城，掠夺大量人口。
吐谷浑大举南迁，其原有领土东西四千里、南北二千里皆被隋朝占领。
大业五年，隋炀帝打算西巡河右。裴世矩遣使游说高昌王麹伯雅与伊吾吐屯设等人，许以厚利，让他们派使者入朝。
三月，杨广西巡，到达燕支山，高昌王、伊吾设等人与西域二十七国国主亲自相迎，并佩金玉，披锦缎，焚香奏乐，歌舞喧哗，还让武威、张掖等郡百姓穿着盛装跟随观看，车马堵塞，绵延十余里，以显示中原的强盛。
杨广非常高兴，进封裴世矩为银青光禄大夫。
大业六，隋炀帝到达东都洛阳。裴世矩以“蛮夷朝贡者多”为由，建议隋炀帝召集四方艺人，在洛阳端门街陈列百戏，让官员百姓盛装华服，任意观看。
三市店肆还设置帷帐，大摆酒席，对蕃民盛情款待。
蕃民嗟叹不已，都称中原是神仙之地。
谁都知道杨广最是好大喜功，裴世矩这一把直接烧到了杨广的痒处，因此得到杨广的赞赏，并让他协助薛世雄修筑伊吾城。
再后来，裴世矩又进献反间计，使射匮可汗进攻处罗可汗，处罗可汗只得随使者入朝。
就连去年开始进行的隋朝对高句丽的战争，其实这后面也少不了这老狐狸的影子。
大业七年，裴世矩随隋炀帝巡幸塞北，到达启民可汗属地。
当时，高句丽已先遣使与突厥沟通。
启民可汗不敢隐瞒，便带高丽使者前来拜见杨广。
裴世矩趁机进言：“辽东早在周朝便是中国领土，先帝便有意讨伐，陛下又怎能让之仍为蛮夷之地。臣愿当面告诫高句丽使者，让他们告诉其国王，命其速来朝廷进见，不然便联合突厥出兵征讨。”
杨广采纳了裴世矩的建议，但高句丽国王高元却不肯入朝，因此杨广认为高句丽不敬，才有了征讨高句丽的想法。
薛仁杲就那一点经历，在裴世矩老狐狸的心目中，实在算不得什么大事。
人家那样的才叫了不得的经历，实在是剩了薛仁杲十倍，不过还是那句话，薛仁杲还足够年轻，以后的前途就未必比裴世矩低了。
但是薛世矩却十分会做恶人，也装出一副饶有兴致的样子，听着薛仁杲说一些战场上发生的事情。
加上薛仁杲的口才也确实十分了得，前一辈子这时又是个历史网作者，十分善于抓住读者的心。