1860年2月，幕府派出了開啟國門的第一支出訪外國的使團，這就是大名鼎鼎的“鹹臨丸訪米”使團。
說是鹹臨丸訪米，但其實使團的主要成員都乘坐米國軍艦波瓦坦號，鹹臨丸只是隨行。
當時的正使是外國奉行所奉行新見正興，三十三歲的小慄忠順作為監察同行。因為小慄天生一副嘲諷臉，對米國人也如常對待、平等交往，因為派頭大他還被誤認為使團的正使。回國後新見正興升職，小粟接任了外國奉行的職位。
1861年，小慄終於見到了比他更粗魯傲慢的人魯西亞人，他在魯西亞軍艦佔領對馬島事件中因外交交涉失敗而被免職。
這是他政治生涯中下野的第一次——因為他經常與大家意見不同，手段又強硬，一生之中被迫下野十七次。小慄是名副其實的鐵頭娃，據說鳥羽伏見之戰（1868年1月）被打敗後，當時的幕府第十五代將軍德川慶喜不顧家臣們死守大坂的建議，偷偷從大阪乘船返回江戶，小慄忠順當時在場，諷刺德川慶喜說“這次遊玩的心情應該不錯吧”，意思是說家臣們拼死拼活但主公慶喜卻不在乎，結果小慄當場被慶喜罷免了職務。
1861年佔領對馬島的魯西亞軍艦，因英吉利公使派兩艘軍艦去恐嚇而撤退。小慄雖然與魯西亞人交涉失敗，但畢竟問題解決了，之後不久，他被任命為堪定奉行（類似財政大臣）之一。後來，他不斷升職，歷任江戶町奉行、步兵奉行、海軍奉行等等重要職位。
文久二年（1862年），小慄忠順提出在江戶、函館、能登、大坂、下關、長崎等六城市設定艦船據點建立近代海軍的龐大計劃，但以勝海舟為首的反對派對此冷嘲熱諷，認為若按小慄的計劃，五百年後才能有海軍。但小慄不管風言風語，派遣榎本武揚等年輕人才出洋留學，又趁米國南北戰爭結束後大量軍艦閒置之際，以優惠的價格購入新式軍艦，大大充實了幕府的海軍力量。
此時勝海舟是身為軍艦奉行並的幕府高官——勝海舟從1853年黑船來訪時提出《海防意見書》而嶄露頭角，先後被大目付兼海岸防禦御用掛大久保忠寬、首席老中阿部正弘賞識，不斷被提拔。
小慄家世代是大身旗本，以幕府將軍的忠犬自居，對外樣大名充滿警惕，但同時也被勝海舟代表的新進的下級旗本所敵視。而小慄忠順堅持幕政改良政策，因此也不被保守派的大身旗本們喜歡，加上他的毒舌，小慄忠順幾乎把所有能得罪的都得罪光了。 但小慄忠順能力很強、眼光也好，加上手腕強硬，所以大家也離不開他，造成的結果就是：小慄一生經歷了十七次下野，但他被罷免不久之後又會被啟用。
為挽救風雨飄搖中的幕府，小慄強力推行了多項改革，其中包括進行貨幣、稅制等的財政改革、用郡縣制代替幕藩制、公派海軍留學生、購入四十四艘蒸汽戰艦、在橫須賀、橫濱建立造船所、聘請佛蘭西教官、採用佛蘭西式近代化軍制等等。這些改革，有的成功了，有的失敗了。
小慄忠順死後，一身功業隨風飄散，但他發起建設的橫須賀制鐵所卻成為扶桑船舶工業近代化的基石。
元治元年（1865年），小慄提出花費巨資建立擁有制鐵、造船能力足以與西洋各國相媲美的大型近代工廠的計劃。當時的外國公使、幕府內部都認為這是不可能實現的天方夜譚，但小慄忠順力排眾議，削減幕府的開支，開始興建橫須賀制鐵所——名為制鐵所，其實卻是造軍械、造船的工廠。
期間幕府多次財政緊張，但小慄為首的幕臣努力籌集經費，橫須賀制鐵所依然保持建設，在1871年終於竣工，但此時距小慄被斬首已過去了三年。
橫須賀制鐵所是當時扶桑最大的近代化工廠，為扶桑造船業培養了大批技術人員，奠定了扶桑船舶工業近代化的基礎。
小慄一生擔任過四次勘定奉行，是幕臣公認的“經濟通”，後世民間有人評價他為“扶桑近代化之父”、“幕末第一能臣”。
小慄忠順常對同僚說，得了重病的父母雖已不可能恢復健康，但孩子總會堅持為他們延醫請藥，直到父母臨終的那一刻。
打贏了扶桑魯西亞大海戰的海軍司令官東鄉平八郎說他最感激的人是小慄上野介，歷史小說作家司馬遼太郎在《叫做“明治”的國家》一書中親切地把小慄忠順稱為“明治之父”。
扶桑民間關於小慄忠順的傳說很多，其中最有名的傳說是“幕府藏起來的大寶藏”。
據說幕府大老井伊直弼在遇刺之前收集了大量財富，準備進行近代化改革，但井伊在櫻田門外之變中被刺橫死，這筆寶藏就此下落不明。而大家推測當時作為井伊親信的小慄最有可能知道這個寶藏的下落。
於是在倒幕成功後，維新政府逼問小慄寶藏在哪裡，小慄說根本沒有什麼寶藏，維新政府一怒之下殺光了小慄的全家老少。後來，在小慄家搜出了精緻的錦盒，裡面層層包裹著一樣東西，結果開啟一看卻是一個普通的螺絲釘。
原來，1860年鹹臨丸訪米時，米國官員嘲諷幕府：“你們扶桑只買船，莫說遇到海戰，便是掉了漆、生了繡你們都無法修”，說完又拿起一顆小小的螺絲釘，“就這麼一個小小的螺絲釘，你們都造不出來”。小慄深受刺激，一生之中都珍藏著這顆螺絲釘，不時拿出來作為警示。
民間傳說不是事實，中華後來也有類似的螺絲釘傳說。但傳說蘊藏著民間對小慄忠順推進近代化改革的欽佩和感激，“無論歷史被如何裝扮，一個人為民族的文明與進步作出的努力與堅守，終究還是會被後人緬懷的”。