這些傳統造船廠的技術水平不高，還不會修理西洋船，但是趙大貴覺得好的造船工人難得，而且自己做造船廠連木料去哪裡買都不知道，什麼人脈都沒有，因此還是頗為心動。
不過，趙大貴此行是要到香港去的，在這邊不能久待，便只在這裡待三天，最後讓一位姓白的掌櫃留下來辦理土地權證，收購一些造船廠，叮囑他聚攏造船業的工人和管理方面人才，趙大貴帶著大部隊繼續南下。
這位白掌櫃，原先給幾位官員做過師爺，善於處理涉及官府的複雜事務，之前在上海買地的時候出過大力，才被趙大貴招進商行裡大用。
因為幫大貴商行買過很多土地，在上海還有“土地爺”的外號。
坐著船，繼續到達廈門，按照之前的做法，在這裡又待幾天，見過當地的英國領事，又打探這裡的生意機會。
可惜的是，廈門這邊生意做得不大，也沒什麼撿漏的機會，據說福州的租界也很一般，貿易額極小，什麼都沒做起來，趙大貴便失了興致，很快就離開廈門，直奔香港而去。
到了香港，把船在維多利亞港停泊好，找個當地旅館，安排眾人休息，趙大貴第二天就拿著名刺去拜訪香港第二任總督德庇時。
趙大貴此時也是名聲在外的人，就是德庇時也聽過上海出了這麼一位厲害的買辦，還要商談建立定期郵輪航線的時候，因此很快被德庇時約見。
這時的香港總督，實為英國在華的最有實權最高貴的官員，五個通商港口的領事，包括上海的巴富爾領事，都只是其屬下的職員而已，這與數十年後上海崛起以後的情況很不一樣。
香港的第一任總督是璞鼎查（Sir Henry Pottinger），其經歷也很有傳奇色彩，於1803年隨軍至印度任職，在1841年侵略阿富汗的戰爭中立下功勳，被封為男爵；
戰爭爆發後義律擅自從定海撤軍，只拿下香港這個彈丸之地，違背了英國女皇和外相的直接命令，才被撤職查辦，改派璞鼎查到中國做遠征軍司令；
戰爭結束後，璞鼎查就留在中國，成為香港總督，掌管香港和五個通商港口的所有事務，於1844年五月歸國，任樞密院顧問館；
之後於1847年出任開普（好望角）殖民地總督，1848年至1854年出任印度馬德拉斯總督。
很有意思的一件事情是璞鼎查在跟耆英談判簽署南京條約時相當強硬，但跟耆英的私交相當不錯，甚至將自己長子的名字改為耆英，也就是腓特烈.耆英.璞鼎查。
不過，這位耆英男爵的運氣似乎不是很好，在1865年登上一輛正在跑動的馬車時，不小心用自己的手槍射傷了自己，最後在悉尼的維多利亞俱樂部死亡。
再囉嗦一下他父親，香港總督璞鼎查的官運，璞鼎查退休的時候是以陸軍中將的軍銜退休的，這個職位足夠高了；
但是他的前任，義律退休的時候是以海軍上將軍銜退休；
如今的上海領事巴富爾是他的手下，做上海領事前的軍銜只是炮兵上尉，但之後多次晉升，在退休的時候是以陸軍上將退休，倒使得讓人覺得璞鼎查的官運不夠完美。
璞鼎查為英國建立了很多功勳，但為人有些保守傳統，上任做香港總督以後，對鴉片貿易商沒有給予足夠的支援，也就是說鴉片販子在通商的五口販賣鴉片的“正常”貿易行為，璞鼎查給予足夠的支援；
但鴉片販子私自跑到五口以外的其他地方販賣鴉片或進行走私，璞鼎查就不怎麼支援，或者說並不給予足夠的重視，因此在鴉片販子圈中的名聲很快變化，也讓英國外交部非常不滿，最終在1844年五月份的時候讓他卸任歸國。
香港的第二任總督就是德庇時（John Francis Davis）了，按照後世的翻譯習慣，應該成為戴維斯更為合適。
&nuel Davis）是東印度公司的執行官（應該算CEO吧）和業餘藝術家，母親Henrietta Boileau是在英國避難的法國貴族家庭的成員。
德庇時是這個家庭的長子，最早是作為東印度公司往廣東派遣的書記員，於1813年來到中國，之後努力學習中文，翻譯一部叫“三與樓”的作品；
1816年作為阿美士德勳爵的隨員到過北京；
回來後在1832年成為東印度公司在廣州的特別委員會主席，同時成為皇家亞洲學會的成員之一；
1833年英國政府終止東印度公司的對華貿易專利權，改為設立駐華商務總監，接著受人駐華商務總監律勞卑成為第一任駐華商務總監，德庇時成為駐華商務副總監（相當於英國領事，義律在鴉片戰爭前的職務就是駐華商務總監）；
不久，律勞卑善闖廣州，與清朝官員發生衝突，使得中英關係惡化，貿易受到很大影響，本人也在澳門病室，於是德庇時成為駐華商務總監；
德庇時上任後不支援對華強硬態度，後來怡和洋行的渣甸和馬地臣等八十五位英國商人向英國國王威廉四世聯名寫信，要求罷免德庇時，改派軍人擔任商務總監，同時派軍隊過來為律勞卑報仇，最後德庇時上任僅百多天後宣佈辭職，返回英國（之後的商務總監似乎都是軍人，如義律本人就是少校軍官）。
璞鼎查在任的時候，幾乎不在香港徵收稅款，德庇時上任前英國政府就要求他增加香港政府財政收入，以緩解英國要向香港補貼大量資金的窘境。
於是，德庇時上認為登記戶口證，徵收地稅、人頭稅（1844年普香港第一次人口調查結果是23988人，不管中國人和英國人都要交人頭稅，逼得很多中國人離開香港）、妓女稅（很總要的收入來源，大家懂得）、專利稅、財產稅等，讓人怨聲載道，成為最不受香港居民歡迎的總督。
按照南京條約，英國政府本來可以在廣州設立領事館，但清朝官府和民間都想盡辦法反對，之後英國就威脅不歸還舟山群島，導致耆英在1846年四月（舟山過幾個月後歸還）與德庇時立下協議，以後酌情讓英國人入廣州城；
英方則同意，只要清廷不將舟山群島許與外國，就會歸還舟山群島，擱置進入廣州城的要求。