ひとつは、平安時代の初期、征夷大将軍として蝦夷征伐に向かう坂上田村麻呂が、この地で入浴したことが始まりという説。
もうひとつは、永延3年（989年）、源頼光四天王の１人として勇名を轟かせていた、日向守碓井貞光による発見説。
碓井貞光が四万の地を訪れ野営したとき、夢の中で現れた童子が「私はこの山の神霊です。
あなたの読経の誠心に打たれたので、四万の病を治す霊泉を授けましょう」と言ったことにちなんで「四万温泉」となったというものです。
この湯は、四万最奥にある『御夢想之湯』と伝えられ、今もこんこんと湧き続けています。

たむらの祖・田村甚五郎清政が四万温泉に来たのは室町時代永禄六年（1563年）です。
甚五郎清政は、山城として有名な吾妻の岩櫃城の六代目城主斉藤越前守基国に仕えておりました。
その年武田勢に攻められ越後に逃れる時、四万山中に路を求めましたが、更に北上する城主の行先を守るため、ここにとどまり追っ手を防ぐこととなりました。
やがてそのままこの地に土着し、四万川の中から湧出する温泉を発見して、湯宿を始めたのが四万温泉の始まりと言われています。

「本仏像二体は、明治晩年十二世田村茂三郎が上越国境を越へ浅界神官の家に宿りしおり、神官の内職の技として刻めるものを求めたるものなり」
との書付が残っております。
有名な仏師の作ではありませんが、明治の時代歩いて山越えすることを思うと、たむらにとっては大事なもののひとつです。
その隣の、
「三七日の　四萬の薬師の効ありて　五臓六腑に　病なかりけり」
の彫り物の画像ですが、こちらは、
子爵　品川弥次郎　口筆
「本歌は明治十七年八月七日　子爵が「粥腹」の歌と併せ詠みて
賽陵館館主　十一世田村茂三郎に贈り　訣別の紀念とせり」
との書付があります。品川弥次郎は、明治の内務卿となった方です。

たむらの母屋は、江戸時代天保五年（1834年）十代田村茂左衛門により改築されたものです。
江戸時代の初め領主真田氏から「湯守」の役を任ぜられており、神社仏閣と同様な裾の反りあがった「向破風」の屋根を造ることを許されました。
建物の中に入ると奥が一段高くなっており、位の高い方が休まれた書院造りの「上段の間」その手前には従者が待機した「中の間」と呼ばれる部屋が残っています。

幕末から明治初年の四万温泉は、火災や榛名山の噴火などで一時さびれた状態でありました。
慶応義塾で学び、福沢諭吉先生に直接薫陶を受けた12代目当主・田村茂三郎は、「四万温泉は不便だからなかなか行かれない、これからの観光は交通だよ」との師からの進言を受けバス会社を設立しました。当時四万温泉へは馬車に頼るしかない時代でした。
温泉組合が成立された明治21年（1888年）頃から、日清戦争の終わる明治20年代末頃にかけて賑やかになり、明治時代後半には道路の整備などが行なわれ、新湯地区を中心に再び活気を取り戻してきました。当時の湯治客は、短い人でも1週間、長い人になると1ヶ月も2ヶ月も逗留していました。

１２代館主となる茂登馬は慶應義塾の卒業生で、福沢諭吉先生から直々に教えを頂いたそうです。
福沢先生曰く、「田村君、四万温泉は遠いので私は行けないがこの写真を持っていきなさい」と肖像写真を頂き、今も「四万たむら」の中の間に飾ってあります。
また、福沢先生曰く、「田村君、これからは交通手段がとても重要になるから良く考えておくと良い」と言われたそうです。
そして１２代館主となった茂登馬は、群馬自動車会社を設立し、渋川駅から四万温泉まで定期バスを走らせました。

皆様を迎える入母屋造りの茅葺屋根の玄関は、天保5年（1834）年に建てかえられたものです。
昭和まで湯治場としてあった「賽陵館田村旅館」をそのまま残す佇まいは、現在、四万たむらのシンボルです。

賽陵館の命名は、幕末の漢学者、寺門静軒が九代目田村成憲（11代茂三郎の父）に寄贈した漢詩に由来したものと伝えられています。

詩は、「中国・晋の時代の理想郷である武陵桃源より、温泉が湧いているだけに四万の方が勝っている」と歌っています。