虽然去岁年末部队就开始了针对性的登陆操演，但都是在福建近海进行的，从泉州出发后在南下途中，第三师的官兵们还是经历了一场大风浪的洗礼。饶是这些南方士兵都有过乘船的经历，后来还经历过一些海上的训练，也经不住这种颠簸，加上海船空间狭小，很多人晕船了。
经过几天的航行之后，船队到达了伶仃洋外的万山群岛，万山群岛，位于珠江口正南方，是广州出海航道必经之地，万山群岛层峦叠嶂，如座座营盘雄踞虎门前沿，像艘艘巨舰驻泊于珠江口海面，成为华南的天然屏障和广州的重要门户。群岛间航道纵横交错，是广州，珠海，香港进港船舶的必经之地；而万山群岛恰扼出海航道的要冲，地势险要，正是兵家必争之地。
如果没有英法舰队的抢先占领，张文祥的第三师第一场登陆战必定会在这里爆发，可惜早在去岁英法封锁珠江口时，万山群岛就已经陷落，如今守在岛上的是英国海军陆战队的士兵，而游弋在万山群岛海域的是英法舰队。
所以作为南下作战的先锋部队，第三师第一个登上了万山群岛当中的垃圾尾岛，也就是桂山岛。桂山岛位于万山群岛西北部，珠江口东侧，当国内外船舶进出珠江口航线之要冲，为万山群岛海上交通枢纽。岛呈南北走向，长3公里，宽1.05—2.4公里，岸线长9.40公里。面积3.5125平方公里。全岛有井13眼，各山均有泉流，终年不断。足够数万人淡水饮用。岛岸较曲折，多岩石陡岸和磊石岸，近岸礁石散布。沿岸共有港湾15个，主要有一湾、二湾，均为沙质岸滩，湾内有英国人修建的“t”型码头3座，并建有建议的导航灯桩。
张文祥和郑岩驮等第三师指挥部成员是跟随第二批舢板、小船登上桂山岛的。岛上的英军陆战队指挥官是一个叫乔治亚的海军上尉，他带领一百二十多名英军驻守这个岛。对于太平军船队的到来，他们并不吃惊。早在一周前，他们就接到了移交桂山岛给太平军的命令。
去岁年末，在一轮又一轮的争吵和妥协之中，英国公使包令和法国公使布隆布尔不得不放弃了原本的条件。西王始终不同意与英法联军联合对清军作战。开放全国的条件也被拒绝。西王只同意增开南京、苏州和泉州三处作为新增的通商口岸。鸦片贸易合法化被言辞拒绝，西王甚至不惜以战争作为威胁来拒绝这一条款。
如今身陷印度战争漩涡的英国人没有多少底气和太平军开战，太平军控制了几乎所有的南部沿海重镇和港口，和太平军开战英国会损失很多利益，他们也不认为太平军是懦弱、腐朽的清军，光靠海军和两千海军陆战队就能达到让太平天国屈服的目的。
于是英法暂时选择了退让，三方草签了一个协约，仅仅只是太平军南下广州作战的一个协约而已。西王用增开三处通商口岸和允许英法两国使节进驻天京为代价。换取了封锁珠江口岸的英法舰队让出万山群岛的占领权。同时双方约定，英法在太平军南下广州之战中撤回香港锚地。不干预广州的战争，太平军在占领广州后，承诺在最短时间内恢复广州的秩序和贸易。
虽然英国人很不满意这次谈判取得的成果，但却无可奈何，他们不可能在印度方面没有镇压下起义的同时，再在远东和兵力、战斗力强大的太平军宣战。当中英法联合舰队司令格兰特的意见起到了至关重要的决定作用，根据格兰特的说法，太平军已经不同于腐朽的满清军队，他们在庙街、库页岛等一系列对俄作战中的表现已经证明，他们并不比俄**队弱，甚至他们要强于俄国人，要想让太平军屈服，英法联军甚至必须做好再打一次克里米亚那样规模的战争，而不是仅靠还身陷印度的三万远征军就可以成功的。
格兰特的评估之语让英国首相和议会都感到了棘手，加上英国商会和罗斯柴尔德家族的反对，于是英国人妥协和暂时退让了。英国商会更看重的是即将新建的沪宁铁路和宁福铁路，上海到宁波到福州的铁路修建，这是一块多么巨大的蛋糕，如今的太平天国每年进口的钢铁、五金、武器等等也是非常丰厚的商业利润，而且太平天国的进出口关税也很合理，没有像之前满清那样多重收税，发生不愉快的争端也很快能够得到太平天国政府的解决，没有满清那种愚昧无知的推搪和避而不见，因此英国商会成员都不愿意与太平天国开战。至于那些肮脏的鸦片商人，他们多数都是印度爆发户，本土的英国商人是看不起他们的，虽然英国本土商人偶尔也进行过鸦片贸易，但他们更看重的是本国的商业。
罗斯柴尔德家族则很坚定的表示反对英国和太平军开战，他们的理由也很简单，太平天国和满清的内战必定是以太平天国胜利告终，作为将来远东最大的国家，英国商人和罗斯柴尔德家族的利益就是在于和这个国家处理好商贸关系。雄心勃勃的太平军希望加快国家建设的脚步，这势必带来更多的商品进口和原料出口，而中国的人口是四亿，这是一个非常大的市场，罗斯柴尔德家族甚至愿意贷款给太平天国来尽快结束这场内战。
同时人们也注意到了罗斯柴尔德家族中的一个新成员，一位来自东方的美丽女性，一位曾经的太平军女将军，现在是罗斯柴尔德家族中小儿子克利福德的妻子，她的名字叫做李璇玑。自从到了英国和克利福德举行了盛大的婚礼之后，李璇玑就进入了英国贵族的上层社交圈子。她的英文是克利福德交的，在中国的时候就说得很好，与英国贵族那些夫人、小姐们的交流并没有障碍。
李璇玑温婉贤淑，加上渊博的东方文化底蕴，令她在很短时间内就以个人魅力征服了那些夫人和小姐们。李璇玑为她们展示了中国美丽的刺绣、雕刻、景泰蓝等等精美的艺术品，很快李璇玑就在英国上层社会掀起了一阵中国风，并逐渐向中下层社会辐射它的影响。同时，李璇玑声情并茂的讲述下，让英国人了解了太平天国的开明，了解了满清的腐朽和残暴。泰晤士报甚至开设了一版专栏讲述这位太平军女将军（李璇玑曾官至检点）的事迹和介绍太平天国的事迹，有李璇玑的现身说法，令原先对太平天国很失实的一些传闻不攻而破。太平军不再是英国人眼中的叛军，而是争取民族独立和推翻暴政的正义之师，而且所谓的满清皇权也是满人强加给他们的，在英国人看来野蛮的鞑靼人就应该被推翻。
在各方的努力下，英国首相巴麦尊和英国议会答应了包令的建议，同意签订临时协约，让出万山群岛，结束对广州的封锁，由太平军完成对广州的占领。
但这次妥协是被迫的，英国人的利益并没有得到完全实现，也为之后双方爆发战争埋下了隐患。但至少在英国人没有解决印度事件之前，双方还是维持了友好的合作关系。