因為石亨的故意陷害與家奴的誣告，楊俊於景泰五年五月、景泰六年九月兩次被關入刑部大牢，差一丟丟就讓砍頭了。
雖然有孫太后從中曲護，為其求情，但還是在景泰七年（1456）二月被削去了昌平侯爵位。同年十二月，其長子楊珍承襲昌平侯的爵位。
七年之後，朱祁鈺病重不起，石亨等人發動奪門之變，將朱祁鎮再次扶上了皇位，改元天順，不久景帝朱祁鈺駕崩。
楊俊與權臣石亨結怨不是一朝一夕的事情，得從明朝的徵兵制度說起。當時大明王朝屢受蒙古部落的侵擾，為了加強邊防軍事力量，多次在全國徵兵，選撥下級軍官採取打擂臺比武等方式來決定參賽者的軍銜。
宣德元年，朝廷再次徵兵，楊俊、石麟（石亨唯一的兒子）同時報名應徵。楊洪知道兒子楊俊脾氣暴躁，做事魯莽，特意把楊俊關在家裡，叮囑他好好練武，不要到外面去參加打擂比賽，惹是生非。
開始，楊俊還是很聽話，天天在家中的後院自覺練習刀槍劍戟、舉制石、站馬步，楊洪就對他放鬆了看管。其實楊俊一直想去比武場試試身手，不過礙於父親的威嚴只好作罷。
楊倫、楊傑、楊智等弟兄看出楊俊的心思，悄悄的吩咐僕從：“你們外出辦事的時候，記得我們打探擂臺的進展情況。我們俊哥會重重有賞的！”
僕人興沖沖從比武場回來後，繪聲繪色的描述參賽者激烈的對戰場面，並有意無意煽動這些小夥子的情緒：“比武場高手如林，正打得熱火朝天呢，百聞不如一見。如果不親自去一趟，實在是太可惜了！”
楊智他們聽了，實在是心癢難耐，恨不得自己有一對翅膀，馬上飛到比武場去了。幾個正要出門，忽然想起了什麼，又折了回來楊傑推開了後院的大門：“俊哥，告訴你個好訊息，比武還沒有打完，你要不要去看看？”
正在專心練習楊家將槍法的楊俊沒有聽到，院落裡的樹葉被他一個秋風掃落葉打得滿地都是。楊俊沒有看到楊智朝他背後走了過來，殺了一個回馬槍，嚇得楊智趕緊趴在地上，才沒有被楊俊傷到。
楊俊回頭見楊智在身後的地上抱著頭，大喝一聲：“楊智，你找死啊？沒有看到俊哥在練武嗎？有事不知道從前面來呀。”
楊俊將槍柄豎立在地上，停了下來，楊智才戰戰兢兢的起身了：“俊哥好身手，方才要不是我躲得快，就被你刺中了。”
楊俊一臉嚴肅的道：“不是跟你們說了，我練武之時不要隨便靠近麼？”
楊智擦了擦額頭上的汗珠：“我這不是有急事要告訴你嗎？”
楊俊一聽有急事，馬上滿面笑容：“你這小子鬼得很，一定是比武場有好訊息了？”
幾個兄弟也湊了上來，一起說：“對呀，俊哥真是神機妙算。”幾個小腦袋湊在了一起嘀咕了一陣，一致決定：“咱們前往觀看，不上臺打擂不就行了。”
楊俊還在猶豫，不敢去：“到了那個場合，我怕我忍不住。”
楊倫拍著胸脯道：“哥哥我攔著你就是了。”
楊智道：“說了大半天，真掃興。你不去，我們可就去了哦。”
楊俊將頭扭了幾下：“去就去，說好了的，誰都不準上臺的！”
幾個小傢伙伸出手，架在一塊：“好，一言為定！”於是兄弟幾個溜出了家門，偷偷來到了比武場。比武場好不熱鬧，觀看比賽的人太多了，兄弟幾個好不容易才擠到前面。
楊智看了許久，臺上的擂主身材魁梧，武藝純熟，已經接連打死、打傷了好幾個人，在擂臺上耀武揚威：“還有誰敢上來？有沒有人啊？”臺下鴉雀無聲。
楊智就問楊俊：“俊哥，站在擂臺上的是誰啊？”。
楊俊歪著頭道：“這傢伙是石亨的獨子石麟，一般人他根本就沒放在眼裡。”
楊智道：“石麟也太囂張了，我去教訓教訓他。”
楊俊道：“不可！石麟非等閒之輩，自幼習武，受到其父石亨的真傳，武功十分了得。”