這七千騎軍中包括了三方面的人馬，因此在出發之前楊炎將士兵們進行了重新整編。虞公亮帶來的俱甲騎兵雖然有近一半是重新補充的，但論戰鬥力迮是宋軍中最強的，迭鋒軍山營的一千俱甲騎兵也只剩八百多騎，楊炎將這兩軍合為一隊，為第一營；這些甲俱雖然比鐵浮圖的鐵甲要輕得多，但戰馬的負重還是要比普通騎軍重得多，因此每人都有兩匹馬，指揮是陳亦超和劉復武。原選鋒軍的風營和林營的輕騎兵也合為一隊，為第二營，指揮是曹勳和高震；原迭鋒軍火營是配有馬皇弩的輕騎射軍，共八百人單獨為第三營，指揮張榮和張師彥；原來魏勝部下的兩千多騎軍為第四營，指揮是董成、朱震；原選鋒軍的雷營和陰營合為第五營，由楊炎親自辛領，辛棄疾、王世隆、魏昌以及趙月如、趙倩如和她們帶來的女兵都被編入了五營中。
趙月如和趙倩如這次來兗州共帶了三十個女兵，經過挑選之後只有十二個人合格加入了遠襲軍。其中有四個原來是她們的宮女，分別叫作綿紋、暗香、梅影、幽萍。她們在宮裡跟著趙月如學過一些武技，式以在路正照顧兩人的起居。另外八人都是在尚武院中學習過的女子，韓照靜、張文珠都在其中，另幾人是：石鸞英，餘秀琳、幕容紅、陳瑛、林雅仙、彭璐也都不是平民家出身，大多都來自武將世家。其實在尚武院上學的女子中不是出身官宦獲是富豪之家，很少有來自平民之家的。這是因為只有大戶豪族才願意出錢供女子學武，這在平民家中是不可能的。
遠襲軍只帶了十天的乾糧，路上避開大城鎮，專走山間、密林以避開人群。晚間休息也不劫火，只吃些乾糧，飲些山泉，這一點連趙月如和趙倩如也不例外。不過女兵們到是準備充足，糕餅、點心、糖果等都帶了不少，楊炎特許拔給她們一輛大車來裝，到是夠她們吃的。不過在過夜時只搭三個帳蓬供妝兵休息，其他人包拎楊炎全部都是在地上鋪塊毛氈睡覺。好在現在是五月下旬，天氣炎熱，到不寒冷。
遠征軍自兗州出發，先繞過歸德府，由楚丘渡過黃河，轉向西北，走了四天，行程近七百里，由於有萬顯聲在前面探路，宋軍走的又都山林小路，又有飛鷹在空中巡視，因此一路上到也平安無事。現在己到了東明城附近。這裡離黑陽叫約有二百多里路，如果崔馬快行，一天就可以到了。
隊伍正在行進之中，忽然前面一陣騷亂，只聽見有人喊道：“抓住，抓住他們。”緊接著就是“嗖、嗖”幾聲箭響。楊炎聽了，立刻大喝道：“前面發生了什麼事情。”
這時一個士兵催馬過來道：“楊統制，王統制在前面抓了幾個獵人。”
王統制就是王世隆，楊炎不解他抓獵人做什麼。立即傳令，叫全軍暫時停止前進，並佈下放哨計程車兵。這時王世隆帶著抓住的獵人過來見楊炎：“楊統制，都抓住了，一個也沒跑了。”
楊炎一看，王世隆抓了五個人，一個老人，三個壯年，一個少年，都是獵人打份，其中一個人的胳膊上還中了一箭，血流不止。一個個都五花大把，嚇的臉色慘白。
楊炎不禁道：“王統制，你抓他們作什麼，莫非是金國的奸細。”
王世隆還沒開口，那幾個獵人大叫起來：“大人，我們只是普通的獵人，不是奸細啊！大人，饒了我們吧！”
“大人，我們不是女真人，我們可也是中原百姓啊！”
王世隆不理他們，對楊炎道：“楊統制，他們是什么人並不重要，只是他們己經發現了我軍的行蹤，萬萬留不得他們。”
這句話只嚇得那五個獵人全身發抖，“撲通，撲通”跪在楊炎面見，不住磕頭。道：“大人饒命，大人饒命，我們真的只是普通的獵人，絕不是金國的奸細。”
那老年獵人道：“大人、大人，你要殺就殺哦吧，千萬放了我的兒子、孫子。”
這時趙月如、趙倩如、辛棄疾、虞公亮、魏昌、曹勳、高震、陳赤超、劉復武等人都已圍了過來，看看是發生了什麼事情。等聽王世隆說明了事情的經過，眾人都不禁沉默不語，都看著楊炎，想聽聽他是什麼意見。
這時楊炎心中卻也是難以決定。聽了王世隆一說，他也明白，遠征軍的行蹤被這幾個獵人發現，如果是放了這幾個獵人，但他們卻去佝金軍告密，這次襲擊黑陽山的計劃恐怕就不能成功了。楊炎當然不會天真的以為這五個獵人是中原人，就一定會幫助大宋。他知道對於老百姓來說，只要能活下去，有飯吃，無論是維來統制都行，金國宋園都沒有什麼區別。何況一但告密成功，無疑會得到一筆賞金，利令心薰，很難說這幾個人不會動心。
但要他下決心殺死這幾個無辜的人，楊炎卻也真的下不了這個狠心。他雖然處理諱犯軍紀計程車軍決不留情，但並不是一個狠心嗜殺的人。但是如果不殺，這次遠征又怎麼辦呢？殺還是木殺，在楊炎的心中激烈的鬥急著。
其實不僅是他一個人，在場的每一個人心裡都在想著：如果換了是我，是殺還是不殺呢？
楊炎像是在問眾人，又像是在自語道：“難道擾沒有別的辦法了，非要殺了他們不可嗎？”
這是猛聽有人道：“楊統制，絕不可濫殺無辜啊！”
眾人一看，原來說話的人是陳亦起。這時劉復武心裡不禁但心起來。他知道陳亦超一向心高氣傲，平素又看不起那些世家子弟。因此他覺得世家子弟都只是無能之輩，只是幸運生在官宦之家而己。平時也只服畢再遇一人，對楊昌鵬、虞公亮這樣的世家子弟都不大瞧得起，自然也包括楊炎在內。在徐州時就對楊炎無禮，好在楊炎並不在意，只是不知他這次要鬧出什麼事情來。
其實這時在陳亦超心中也猶豫不決。但剛才聽到楊炎彷彿自語的話，像是決定要殺這幾斤獵人了。於是他便衝口而出，不能殺這幾人。話己出口，己不能收回了。看著其他人都看著自己，陳亦超只得道：“統制，這幾個人都是普通百姓，也是我大宋的子民，因此絕不能濫殺無辜，還請大人三思。”