「どうもありがとう」「どうもすみません」のように、感謝や謝罪の際にどうして「どうも」を使うのでしょうか。

質問への回答としては、「どうも」を使うことの表現効果や「どうも」を使いたくなる心理といった観点からの回答も考えられますが、今回は、どのようにして「どうも」が感謝や謝罪の際に使われるようになったのかという歴史的な観点からお答えします。
現代語の感覚では「どうも」は一語として認識されていると思いますが、語の成り立ちとしては、「どう」と「も」に分けることができます。「どう」はこそあど言葉(「こう」「そう」「ああ」「どう」など)の「どう」です。「も」は「あれもこれも」というような使い方をする助詞の「も」です。それらが組み合わさった「どうも」は、もともと「どう考えても」「あれこれ検討しても」というような意味を付け加える語でした。江戸時代後期の江戸語(江戸地域で話されていた言葉)では、話し手にとって望ましくない出来事が生じていることを述べるときに使われています。

では、どのように感謝や謝罪で使われるようになったのでしょうか。鍵は「恐縮」にありそうです。次の例を見てください。一つめ(江戸時代末期の人情本の例)は相手から物を受け取ったことに対して、二つめ(明治初期の外国人用日本語学習書の例)はもてなしが十分でなかったことに対して恐縮している発話の例です。
〔お絹→幸八〕「ナニ一人で帰りますから。決して送りにはおよびません。併折角の吾儕が心。お役にはたゝずとも。この二品は何様何なりと。冝やうにして下さいましト いふを止めて 〔幸八→お絹〕「どうも夫じやァ。吾儕の気が済ない(毬唄三人娘 [1862-1865] 初編巻中・p.33)
先日は実に御構申ませんで何もハヤ(春秋雑誌会話篇 [1873] 第16章・60C口語1873_11216、1100)
※ 以下、資料名の後ろに[ ]でその作品の刊行年や録音年を記します。また、二つめの例のように『日本語歴史コーパス』による場合、「・」の後ろには頁数ではなく、サンプルIDと開始位置を示します。
「どうも」は話し手にとって望ましくない出来事が生じていることを述べるときに使うのですが、使われ方によっては文脈的に、コミュニケーションの相手に向けて恐縮している姿勢を示すことがありました。上の例では、自分と相手との関わりにおいて、望ましくないと思われる出来事が生じている場面で、その相手を意識して使われています。このような場合、「どうも」は聞き手に対する恐縮の気持ちをより強める機能を持ちます。あるいは、聞き手に対して恐縮していることを示す機能を持つと言ってもよいでしょう。こうした機能は、もともとはあくまで文脈的に生じる、いわば臨時的なものでしたが、使われていくうちに語そのものの性質として定着したと考えられます。なお、二つめの例のように、「どうも」は最後まで言い切らない言いさしでしばしば使われたようです。
それではまず、「どうも」が謝罪で使われるようになったことについて考えてみましょう。恐縮と謝罪のつながりは、さほど問題なく理解できそうです。謝罪は自分のせいで何らかの負担をかけてしまった相手に対して関係修復をはかる行為です。それには、自分が相手の負担の原因であると認識していることを示すことが必要です。「どうも」によって恐縮の姿勢を聞き手に示すことは、まさにその認識を示す行為と言えます。だとすると、「どうも」が謝罪場面で使われても不思議ではありません。次の例(三遊亭円朝の有名な落語『怪談牡丹燈籠』の速記本の例)では、「どうも」の後に「失礼を申上げました」のような謝罪表現も現れています。
〔善蔵→孝助〕「オヤこれはどうも 誠に失礼を申上げました いつも今時分掃除屋が参りまするものですから粗匆を申しましたが(……)(怪談牡丹燈籠 [1884] 10編19回・p.135)
それに対して、恐縮と感謝の間にはだいぶ距離があるように思えます。どうして「どうも」が感謝の際にも使われるようになったのでしょうか。このことについては、現代語の感謝の中にヒントが見つかります。エレベーターを降りる場面を想像してみてください。目的の階に到着したときに、一緒に乗っていた見知らぬ人が、ドアが閉まらないようにボタンを押したまま、お先にどうぞと促してくれたとします。このとき、どのような言葉を返すでしょうか。「ありがとうございます」と言うこともあると思いますが、「すみません」と謝罪表現を使うこともあるかと思います。感謝とは何らかの恩恵を受けた相手に対してそのお返しとして行う行為ですが、このエレベーターの例のように、受けた恩恵に対する感謝の言葉を述べるとは限らず、場合によっては相手の負担のほうに注目して、恐縮の気持ちを込めつつ謝罪の言葉を述べる(謝罪表現を使う)ことがしばしばあります。こうしてみると、恐縮・謝罪と感謝には実はつながる部分があるということがわかります。
再び明治期に目を移しましょう。次の『怪談牡丹燈籠』の例では、「どうも」で恐縮の姿勢を示しつつ、「すまねへ」という謝罪表現が使われていますが、場面としては感謝場面と言えるでしょう。このような感謝場面における恐縮の表明が、「どうも」が「ありがとう」という感謝表現と結びつくきっかけとなり、感謝の際に使われる言葉への変化をもたらしたと考えられます。
〔お峯→久蔵〕「何ぞ上げたいが 余まり少しばかりだが小遣にでもして置ておくれよ 〔久蔵→お峯〕「是アどうも 毎度戴いてばかり居て済ねへヨ(……)(怪談牡丹燈籠 [1884] 8編17回・p.112)
こうして、19世紀末から20世紀初頭には、「どうもすみません」「どうもありがとう」のような例が普通に見られるようになります。とくに、次の例(総合雑誌『太陽』に掲載された小説の例)のように、感謝表現(ありがとう)やねぎらい表現(ご苦労さま)とともに用いられている例からは、恐縮から離れた使用もできるようになっていることが見てとれます。
〔お大→お師匠さん〕左様なら、どうも色々有難うござりました。(渡邊霞亭・銀釵 [1895] 60M太陽1895_12025、115460)
〔お春→隣の女房〕「然う、何うも御苦労さま、お上さん私所へ行って見て下すつて?」(小栗風葉・転々 [1909] 60M太陽1909_02027、6900)
興味深いことに、「どうも」の使われ方には地域差があったようです。次の明治期東京落語の例を見てください。とくに二つめの例では立て続けに「どうも」が出てきます。
「ヘイ、どうも有難うございやす。」(柳家小さん(三代目)・千早振る [1909] 60R小さ1909_01034、2110)
「えー、こんちは、どうも」「おや、これはいらっしゃいまし、よくどうもご苦労さまで」「えー姐さん、ご苦労さまてなどういうんでげす」「あーらまあ、どうも誠に失礼を致しました。どうも実に顔から火が出ます」「物騒な顔でげすなあ、どうも」(三遊亭圓遊(初代)・成田小僧 [1903] 60R圓遊1903_01002、3650)
感謝や謝罪以外の使い方も含めて、東京の言葉における「どうも」の使用頻度の高さがうかがわれます(なお、こちらの落語は、オンライン検索ツール「中納言」(要利用申請)を利用すれば、『日本語歴史コーパス』の検索結果から実際の音声を聞くことができます)。ところが、同じ時期の落語でも、大阪落語では感謝や謝罪で使われた「どうも」が見当たりません。こうしたことから、感謝や謝罪の「どうも」は東京の言葉として成立したと考えられます。

それでは、感謝や謝罪の「どうも」がどうして全国で使われるようになったのでしょうか。一つには文学作品を通して広まったということがあるでしょう。しかし、とくに感謝の「どうも」の広まりにおいて重要と思われるのは、標準語の確立と普及に大きく貢献したとされる国定国語教科書です。国定国語教科書では、昭和8年(1933年)の第4期以降、「どうもありがとう」のような感謝での使用がよく見られるようになります。つまり、昭和期以降、全国各地の人が、言語形成期の教育において感謝で用いられる「どうも」に触れることになったわけです。国定国語教科書の力を得て、「どうもありがとう(ございます)」という定型的な感謝表現が標準語として全国へ普及していったと考えられます。