威妥玛属于明显的中立派，此前他并不支持密迪乐这种毫无限制的倒向太平天国，也不支持克利福德那种不切实际的妄想，他还是赞同额尔金的做法，在北方扶植起一个满清傀儡政权来，然后英国提供武器和资助，这样就能够最大限度的拖延或者阻止太平天国在远东的强势。▲∴可惜太平天国领导层的政治智慧似乎不比他们差，那位西王和天国外交部虽然一直和英法敷衍着，但他们早已经洞若观火的明白了英法的举动，于是才有了北京城下开战的一幕，这彻底打乱了英法的战略布局，突如其来的宣战让英法感到无所适从。所以这会儿威妥玛也在思考着其他出路，作为中立派此刻听完密迪乐和亚历山大的建议，似乎这个建议才是最好的。
太平天国现在治下人口众多，其动员能力相当可怕，威妥玛也认为就算英法再派十万远征军来到远东，也不能够打败太平天国的陆军，但海军不一样，他们能够长期袭扰太平天国漫长的海岸线，任何一个港口都可能被联军海军袭扰，而太平天国也不可能长期防御港口，这将严重影响他们的经济。而要造成这种局面，联军必须消灭太平天国的海军，这样才能将太平天国在海上抵抗联军的意志彻底消灭掉。然后英法就能够和太平天国体面的谈判，从而结束战争，至少能保证英法的利益。
同时，威妥玛也赞同密迪乐的意见，消灭太平军海军之后就是最好的和谈时机。假如错过了这个机会，太平天国一狠心。在各处港口玩命的放些水雷封锁港口，彻底断绝对外贸易。那也是英法不愿意看到的，所以在到时候的谈判中，英法也不妨放弃一些要求，更何况人家手中还捏着九千多名英法战俘。
所以威妥玛表示赞同密迪乐的意见，他接过密迪乐冗长的建议书，表示一定会据实呈报回国去。随后两人商量了租界内的情况，密迪乐认为太平军不会攻陷租界，他们只会将租界围困起来，所以密迪乐建议除了军人和必要的外交人员之外。其他的平民商人都应该撤退回香港。
两人统一意见之后，马上约见陶恩培，将英法希望将租界内的平民撤出的意愿说了。陶恩培这个老头笑眯眯的听完，一双看似昏蒙的眼睛却将两人看得心里打鼓，最后老头笑着说道：“两位是想将英法租界变成一个大军营啊，不过我们太平天国无所谓，一旦租界里的平民全都撤退了，我们讲武学堂的炮兵科已经准备将租界当做炮兵培训场，每天都会有实弹炮兵演练。想必两位也不会有什么意见的吧。”
威妥玛和密迪乐面面相觑，想不到这老头如此的公然威胁，要是太平军对租界进行无差别炮击的话，租界里英法两国辛辛苦苦营建的一切房屋和设施都将灰飞烟灭了。密迪乐劝说了几句。威妥玛暴跳如雷的反威胁，但陶老头却是油盐不进，最后两人只得放弃。
低声商议几句后。两人最后向陶恩培提出撤走租界里的老弱妇孺，名单和人数由英法提供。陶恩培笑了笑微微颔首。表示基本同意只撤走老弱妇孺这个计划，但名单和人数就不必英法提供了。陶恩培出示了几分冗长的名单，上面居然都是英法租界内的人员名单，密迪乐看了之后大吃一惊，想不到这份名单比他手上的还更为详尽，足见太平天国老早就在收集租界的所有情报，而租界里的中国人也不知道有多少是他们的探子细作。
最后，威妥玛和密迪乐只得按照那份名单逐一核对后确认了需要撤走的人员，威妥玛希望能够让几位重要的商人一同撤走，以确保他们的安全，比如克利福德、亚历山大等人。陶恩培也爽快的同意了，但他却提出克利福德不能留在香港，他必须回到英国去，换一个头脑清楚的人过来，这样一个头脑不清的人留在远东只会让罗斯柴尔德家族在远东的利益受损。
密迪乐也乐意尽快送走这尊瘟神，他对克利福德的好感早就降到了最低，而威妥玛也没有表示反对，在他看来克利福德和亚历山大的意见相左，亚历山大也不希望这位少爷留在远东的。
双方草签了一个交换协议，第二天开始便由太平军接送撤走的老弱妇孺，双方在吴淞**接，至于太平军的运送费用自然是少不了的。
当克利福德知道自己要回香港之后，他马上要求密迪乐去寻找他还留在徐家汇大教堂的妻子。密迪乐原本不乐意去做这件事，但经不起怡和洋行亚历山大的请求，最后只得厚着脸皮请求陶恩培派人寻找。
陶恩培也做了，他让一名传教士去了大教堂寻找，但最后只带回来一封信给克利福德。先前克利福德也收到过李璇玑托英国士兵带回来的信件，上面只说了她不愿意回租界，现在这封信更绝，李璇玑在信上表示，她只想留下来和南丁格尔搞慈善组织，呼吁停止战争的暴行，除非英法和太平天国停战，否则她将终身不回英国。
克利福德看完信函之后，愤怒的将信件撕成了碎片，他铁青着脸，招呼几名怡和洋行的武装雇员就想闯出租界去找李璇玑，好在亚历山大死死拦住，否则这几个人只怕会被对面的太平军打成筛子。
亚历山大好不容易将克利福德劝回洋行的会客室内，给他倒了一杯威士忌之后说道：“先生，夫人不想回来是因为她的身份比较尴尬，她的母国现在和英国处于战争状态，她回来的话不但她难以自处，也会影响到您。还不如就让夫人去做那些中立的慈善工作吧，这样对您和她都好。将来战争结束了，她一定会回来的，我知道这些中华女子的美德，她们始终会从一而终，不会轻言背叛。”
克利福德听了之后稍稍消了些气，接过酒杯后一饮而尽，亚历山大坐在沙发上笑着说道：“放心吧，战争不会一直持续下去，只要您回到英国去，尽快说服议会做出正确的决定，我想是能够大大缩短战争的进程，那样就能够尽快结束战争，夫人也能早一天回到英国和您团聚。说实话，您留在远东是做不了什么的，现在的局面我们都只能等待国内的消息。”