ハリスが通訳ヒュースケンを従え米国総領事の資格で下田に上陸したのは一八五六年九月三日（日本暦では八月五日）のことだ。なぜ下田に上陸したかというと、前にペルリが日本と薪炭条約を結んだ際、もしも後日両国合意の上領事を置くような場合には下田におくという取りきめがあったからである。
　下田と江戸の陸上交通は山また山で非常に不便であるが、その不便なのが幕府の狙いで、外蛮の風俗を都に近づけないためという毛ギライから起っている。オランダのカピタンを九州長崎に封じこめて近づけなかったのもその為であるし、仙台の伊達政宗が支倉（はせくら）を船出させた牡鹿半島の月ノ浦というところは他日通商を開く場合にここを港と政宗が予定していたところで、仙台と月ノ浦ではちょうど江戸と下田のような距離と不便さがあるのである。通商はしたいが、外蛮の風を膝元に近づけたくないという神経は鎖国日本の特色で、下田選定はその神経のタマモノであった。
　当時日本と同じように鎖国していた支那では、イギリスが武力で開国を迫って阿片戦争を起した直後である。アメリカの輿論も支那と同様日本も武力で開国させるというような意見がかなり強力であったようだが、たまたまアメリカの大統領が変り、外交に平和政策をとるようになったことと、尚その上にハリスという人が独自の見識と抱負をもった稀な人物であったために、日本は恵まれたのである。
　ハリスは外交官出身ではなく、東洋を股にかけて歩いていた商人であった。いわば西部劇的な冒険児の半生を歩いてきた人であったが、その気質はいわゆる東洋を股にかけた船員や商人とはだいぶ違っていた。第一、酒をのまないし、バクチをやらない。酒をのまなかったのは持病の胃カイヨーのせいもあるが、だいたいに本来身持ちのよい人物で、一生独身であった。ただ甚だ商売熱心で、外国貿易というものに独特の見解と抱負をもっていたのである。
　ペルリが日本と薪炭条約を結び通商の可能性がひらけたので、ハリスは自分を日本の初代領事にしてくれという自セン運動を起し、大統領をうごかして目的を達することができた。その時は大統領に対して、自分はワシントンで要職につくよりも日本で精神的と社会的な孤独の中で働くことを選ぶと述べ、文明国からの最初の公認された代表として日本にのりこんで平和的に開国通商させ、アメリカのためにも日本のためにも歴史に名誉ある記載をのこすような仕事をしたいとの鉄石の決意を訴えるところがあった。
　その決意と抱負は彼の日記にさらに生々しく読みとることができる。彼は下田へ到着する二日前からその抱負のために眠ることができないのである。そして、日本とその将来の運命について書かれる歴史に自分の良き名が記載されるように身を処したいと念じ、精神的と社会的な孤独こそ自分のなつかしいものだということをここでも繰返しているのである。
　むろん商人出身だからアメリカに有利な商売をすることは彼の第一の目的ではあったが、支那の阿片戦争の如き愚をさけ、日本の運命のためにも自分の良き名を残したいというのが彼の野心であり念願であった。
　しかし日本側には彼の誠意や人柄は理解されなかったので交渉は進まず、下田で一年の余ももたついた。唐人お吉が登場するのは翌年五月のことで上陸後九ヶ月目だ。
　ハリスは当時胃カイヨーで重態であり、日本側に看護婦をもとめた。しかしその交渉に当った通訳のヒュースケンは同時に自分の妾をもとめ、その要求をいれないと自分に考えがあるというようなことを云って威嚇した事実はあったようだ。
　そこでハリスにはお吉、ヒュースケンにはお福という妾がでることになったが、ハリスのもとめていたのは看護婦で、妾ではなかったところへ、お吉の方は妾と思いこんで荒れた気持で出かけているから、うまくいかない。お吉は三日でお払い箱になった。
　お吉の写真は今も残っているが、小股のきれあがった美人である。勝気の気性が顔に現れている。下田奉行組頭黒川の記録によると彼女は当時芸者もしくは淫売だったようで、しかし相当な美人だから下田では名の売れた娘だったろう。まだ十七であった。ハリスはお吉に腫物があるというのを理由に三日で宿へ下らせた。お吉から腫物が治ったし、いったん異人館の門をくぐった以上人が相手にしないからという理由で重ねて奉公を願いでたが、ハリスは拒絶して、三ヶ月分の給料三十両を与えて手を切った。二十五両の支度金と三十両、合せて五十五両、奉行所へだしたお吉の受取りは今も残っている。三日の勤めに五十五両を払ってやったハリスも立派であったと云えよう。お吉の代りに他の女を欲しがった様子はなかったから、ハリスは女色の慾望は少なかった人のようだ。
　ヒュースケンとお福はうまくいった。つまりラシャメン一号はお福の方で、お吉はラシャメン落第生だったのである。しかし唐人お吉の名だけが残ったのは、その性格人柄によるのであろう。ハリスは看護婦をもとめ、お吉は妾のつもりで乗りこみ両者食いちがっていたから是非もないが、両者ともにバガボンド的で魂の孤独な人たちだから、心がふれあえば温く理解し合ったかも知れない。ハリスは当時五十一であった。
　後日ハリスが公使になって後、ヒュースケンは攘夷の浪士に殺された。英仏露等の公使がそれを機に日本を武力で屈服させようとしたとき、ハリスだけは日本の肩をもった。長い鎖国から開国したばかりの日本に外国人を憎む分子がはびこるのは当然であるし、日本を開国させた自分は開国後の日本を助け指導する義務がある。日本を苦しめることはできない、と云ってただ一人反対した。そのために英仏露は立場を失い窮したことがあった。
　むろんこれはハリスの外交手腕でもあるけれども、ヒュースケンという自分の片腕とたのむ人物、そしてわが子のように愛していた若者を殺されて、しかもその人情よりも外交の仕事や義務の方を大事にしたハリスは偉大な人物といえよう。自分の野心や抱負のために、かくも畏しく人情を押えることのできたハリスは、お吉や女色に対しても情を押え得た人物であったろうことは想像できるのである。ハリスは甚だ個性的な独特の冒険児であり紳士であった。唐人お吉の物語はハリスの側からも書かれる必要があるだろう。その方がむしろ文学的興味をそそるもののように私は考えている。