
落柿舎は元禄の俳人向井去来の遺跡である。去来は芭蕉の門人にて師翁の言葉に、「洛陽に去来ありて、鎮西に俳諧奉行なり」と称 えられた。去来が落柿舎を営んだのは、 貞享 四年(1687)の以前で、芭蕉が初めて訪れたのは元禄二年(1689)、 併せて三度来庵す。元禄四年には四月十八日から五月四日迄滞留し、その間に『嵯峨日記』を誌した。
現在の落柿舎は、蝶夢門下の井上重厚が、明和 七年(1770)に再建したものにて、当時すでに去来墓は現在地にあった。重厚は嵯峨の人にて向井家の支族と云う。
去来は蕉門第一の俳士にて、芭蕉の最も信頼した高弟であった。 向井家の先祖は南朝の征西将軍懐良親王に従って西下し、肥後国菊池向井里に住したが、後肥前に転じ、祖父の時長崎に移った。去来は父元升 の次男として長崎で出生した。(1651〜1704)
元升は儒者で、長崎に聖堂を建て祭主となり、傍ら医を業としたが、天満神霊の夢の御告によって、京へ上り、名医の誉れを喧伝された。
去来の青年時代は、武藝に専心し、その名声鎮西に知られたが、父の死後上京し、始め軍学、有職故実、神道を学んだ。去来が俳諧に入ったのは貞享初年と云う。蝶夢は去来発句集を編集し、その序で、「去来、丈艸は蕉翁の直指の旨をあやまらず、風雅の名利を深く厭ひて、ただただ拈華微笑 のこゝろをよく伝へて、 一紙の伝書をも著さず、一人の門人をももとめざれば、ましてその発句 の書集むべき人もなし。この寥々たるこそ、蕉翁の風雅の骨髄たるべければ、予としごろ此二人の風雅をしたひ……云々」と云っている。
落柿舎の西隣は嵯峨天皇皇女有智子内親王墓に接す。皇女は初代の賀茂齋院にて、当代第一の漢詩人との名誉を得られたのは、十七歳の少女の時だった。落柿舎の北、去来墓への道の傍の西行井戸は、西行法師の出家当時の草庵の趾と、古来より伝承 されている。

去来の『落柿舎記』には、庭に柿の木四十本あり、その柿の実が一夜のうちに殆どおちつくした。それが落柿舎の名の由来とかかれている。都からきた商人が一貫文を出して、柿の実を買う約束をして帰る。その夜去来が寝ていると「ころころと屋根はしる音、ひしひしと庭につぶるる声、よすがら落ちもやまず」翌朝さきの商人きて「梢つくづくと打眺め、我むかふ髪の頃より白髪生るまで、 この事を業とし侍れど、かくばかり落ぬる柿を見ず、きのふの値かへしてくれたびてんやとわぶ、いと便なければ、ゆるしやりぬ、この者のかへりに、友どちの許へ消息送るとて、みづから落柿舎の去来と書きはじめけり」
落柿舎の入口には常に
蓑と
笠がかけてある。これは本来庵主の在庵と不在を示すもので、ここに蓑笠がかけてあったら在庵、なければ外出中というしるしであるが、今は落柿舎の象徴として常にある。そこに古人の俳諧的生活表現を見るべきであろう。