趙伯浩後來被賜名趙瑗，趙伯玖被賜名趙璩音渠），兩人的地位跟他們的養母有很大的關係。
趙瑗的養母小張是婕妤，趙璩的養母小吳是才人，在南宋後宮，婕妤比才人高一個等級，足足六階。
但是小吳雖然起點低，日後卻是要當後宮之主的存在。
1135年，張浚拜相，勸趙構立儲，不久後趙構封九歲的趙瑗為寶慶軍節度使和建國公，併入讀資善堂讀書，相當於是確定了趙瑗的皇子身份。
但趙瑗只是皇子，並非太子身份，趙構也才二十九歲，他認為自己還有機會弄出兒子來，立儲的事不急。
岳飛在資善堂見過趙瑗一面，他認為此子有天子氣象，於是在1137年利用朝見趙構的機會，勸趙構立趙瑗為太子。
岳飛面奏說金國人有意立宋欽宗趙桓的兒子為宋國儲君，讓南宋難堪，與南宋對抗，如果趙構能夠早日立儲，就能擊破金國的陰謀。
趙構卻冷冰冰的對岳飛說：“你雖然忠義，但畢竟手握重兵在外，立儲的事不是你應該參與的。”
岳飛並不氣餒，又在1140年北伐之前，再次向趙構建議立儲，趙構還是置之不理。
岳飛這兩次舉動，絲毫沒有改變趙瑗的地位，卻讓趙構對他的嫌隙越來越深。
趙構心想，你一個武將，我立不立儲，立誰為儲，幹你屁事，除非你和趙瑗私下勾結，想奪我江山。
1136年趙構想封趙璩為節度使、吳國公，和趙瑗平級，這等於是預示小吳和小張也平級了。
小吳後來居上，說明她在趙構心目中的地位越來越高。
當時任宰執大臣的左相趙鼎、參知政事劉大中和樞密副使王庶都出面發對，理由是吳國公比趙瑗的建國公要尊貴。
趙鼎說建國只是個小國，吳國是大國，趙璩是弟弟，怎麼能比哥哥還尊貴呢？
趙構卻說都是小孩子，不必非得分個高低。
趙鼎還是據理力爭，還要右相秦檜也和他一起勸一勸趙構。秦檜這麼醒目的人，自然不會和趙鼎去忤逆趙構的意思。
後來，宰執裡面其餘三人都上奏要趙構改變主意，只有秦檜按兵不動，他還向趙構進言：“趙鼎要立太子，是料定了陛下無後，我認為陛下要等親生兒子出世再立太子。”
在這一點上，秦檜和趙構可以說是感同身受，他自己的親生兒子被老婆趕出家門，多年不能相認，養子哪有自己生的親呢。
趙鼎等人的勸諫還是起了作用，趙構最後把趙璩封為保大軍節度使和崇國公，但是趙鼎的官運也到頭了。
自古以來，大臣擁立儲君都是很敏感的事，還在位的皇帝會認為你是想盡早把自己趕下臺，秦檜就不會這麼傻，他把命運抓在自己手裡。
1142年，小張病死了，十六歲的趙瑗也一同交給了小吳收養，從此以後，小吳在表面上不再偏袒任何一個皇子，可趙璩畢竟是她從小帶大的。
兩年後，趙瑗的生父死了，按規矩，他需要回去守孝三年，但他現在身份非同尋常，趙構召叢集臣討論，趙瑗究竟該不該回去守孝。
以秦檜為首的秦黨都主張遵循舊禮，趙瑗必須回去守孝，這麼一來，等於是否認了趙瑗的皇子身份，因為趙瑗既然進宮，應該守孝的就只有趙構這個養父。
趙構考慮再三，還是同意了秦檜等人的建議，讓趙瑗回去守孝，這期間，趙璩進封恩平郡王，再度和趙瑗平級。
趙瑗和趙璩兩人，在宮內一直齊頭並進，你追我趕，究竟誰能繼承江山，連趙構都沒有把握。
趙構本人很看好趙瑗，他曾經當著大臣們說：“趙瑗這孩子天賦異稟，博聞強記，有如神人一般。”
但是後來入宮的趙璩，得到吳皇后的偏愛，吳皇后又善於討好韋太后，因此韋太后也喜歡趙璩。
秦檜善於見風使舵，又覺得趙瑗能力太強，日後必定是自己的勁敵，所以也偏向趙璩。
一個能力出眾，一個得到後宮和權臣的擁護，趙構這個做養父的，不免感到頭疼。
如果從江山社稷考慮，趙瑗無疑是最好的選擇，其實趙瑗從小就表現出了王者氣質。
趙瑗出生於嘉興今浙江嘉興），時間正好是靖康之難那一年1127年），他出生的時候，有個叫張浩的醫生那晚路過嘉興縣衙門口，忽然看見官舍那邊紅光漫天，擔心失火了，便趕忙爬過去，結果他發現並沒有失火，是趙縣丞的兒子出生了。