每当爬上如同“海上之城池”的黑船，香山都觉得自己又渺小了不少。和历六月八日，这次他又没见到提督佩里，交涉中香山称，“公方样有恙。事体极大，非可辄变。宜以明年来长崎待报。”
米人请示佩里提督后确认，“可。国书请直达大君殿下。”——其实扶桑皇室才称大君，佩里在这里把称呼搞错了，米人的大君指的是幕府将军。
但佩里坚决不同意在船上递交国书，也不同意在浦贺递交——浦贺附近炮台林立，他怕遭到扶桑人的伏击，他让副官和香山商讨，最终选择了横须贺.
小渔村久里滨因为幕府要建第三座炼铁厂已经改名为横须贺，但因为精通炼铁的专业人才不够，此地只是平整了土地、修建了简易码头，别的啥都还没建起了。
佩里的助手选择横须贺是因为这里虽然属于江户湾内海，但位置非常靠近浦贺水道，算是敏感而又不那么敏感的地点，而且这里离浦贺较近，方便了扶桑人；同时水文条件较好，地势又相对开阔有助于米人避开伏击。
香山左卫门听了米人同意“明年来长崎待报”就非常开心，这是往后推了一年啊，明天的风明天再吹，佛祖保佑，总算暂时躲过了这一劫难——至于翌年怎么办？到时再说呗，我又不是真的浦贺奉行，哪里管得了那么多。
香山带着通译喜气样样地回到岸上，一字不改地汇报了米人的答复，结果，一听到提督佩里居然答应了“明年来长崎待报”，其中几位海防挂又后悔了，觉得米人色厉内荏，再拖延几天，没准粮草饮食不济米人自己就走了。
听了这些嘟囔，大目付筒井政宪、勘定奉行川路圣谟、勘定吟味役江川英龙气了个倒仰——这三人是当时挑头拍板的，此时未免有些同病相怜、惺惺相惜。
其实这三位意见并不一致：
筒井政宪认为“最好拖过去，实在拖不过去开国可以开港不行”——所谓的开国就是就是正式建立交往，包括允许避难港和补给港，而开港就是通商；
而川路圣谟则倾向于能拖多久就拖多久——典型的不见棺材不落泪、不到黄河不死心；
坦庵先生则开明的多，他觉得国书中不会有好条件，而如果国书中的条件太差，那肯定要做过一场——即使打不赢也要打出气势来，别让米人小觑了，然后必然开国开港。
这是因为他读过马尔萨斯的《人口论》，加上得意门生直秀也跟他说过，扶桑现在是存量竞争，无论如何努力也就这么多物产，根本问题无法解决。如果不开国，内部就是一潭死水，折腾半天是一潭臭水，啥也不当。
对此坦庵先生深以为然，认为如今西洋科学日新月异，必须开国求存——至于开港么？他也不看好，按直秀的话说，农业国和工业国做贸易天然吃亏，而且扶桑的物产远远谈不上丰富，一旦开港必然物用日蹙、物价飞涨，最好有个缓冲期才好。
这三位本想大袖一挥不管有人发牢骚就回去休息了，但毕竟都是千山千水老成之臣，三人同时想到了一个问题，赶紧询问香山和随行的通译：
“按你们的经历，这米人信义如何？”
香山和随行的通译一听，这是怕上当受骗啊：
万一到了横须贺递交国书当天，提督佩里翻脸不认人，说“当时我没答应明年到长崎等消息啊，三天内必须给答复”,那可就彻底坐蜡了。
或者这一大堆幕府高官都去了现场，万一提督佩里说“我看诸位风仪不错，跟我上船回米国吧”，现场来个卷包会，那也不行啊。