京・大阪に近く、酒どころとして経済的にも文化的にも水準の高い町であった江戸時代の伊丹では、俳壇も栄え、文人墨客の往来もさかんでした。そうした中で蓄積された文化遺産に、岡田柿衞翁による新たな系統的収集を加えて成立したのが柿衞文庫です。
　「柿衞」という名は、江戸時代に伊丹の美酒にひかれて訪れた文人たちが愛でた「柿」の木を「衞る」というところからつけられたものです。
　文政12年（1829年）の10月のことです。漢詩人・学者として有名であった頼山陽が、同じく学者の篠崎小竹、画家の田能村竹田や高橋草坪らと箕面の紅葉狩をかねて伊丹へ来遊しました。当時、伊丹銘酒として知られた「剣菱」の醸造元坂上桐陰家で酒宴が開かれ、その席にみごとな柿−へたの周囲が丸く盛り上がっているので台柿と呼ばれています−が供されたのです。山陽たちはそのあまりな美味に驚くとともに、岡田家の庭にあるだけのたいへん珍しい柿だと聞き、各々の感興を詩文や画に託したのです。以後、岡田家の当主は「柿園」・「柿陰」など柿に由来する雅号を持ちますが、二十二代の岡田利兵衞は「柿衞」と号したのです。

　柿衞翁は明治25年（1892年）伊丹に生まれ、家業の酒造業を継ぐとともに、伊丹町長、伊丹市長の要職を歴任、伊丹市名誉市民となりました。さらに芭蕉を中心とする俳文学の研究にいそしみ、学術研究の資料として多くの貴重な資料を収集しました。
　昭和57年（1982年）6月、90年におよぶ多彩な生涯を閉じた翁の遺志により、そのコレクションは財団法人化され、同59年6月に建物が竣工、11月に開館のはこびとなりました。
　文庫の由来となった柿の木は、今はもう見られませんが、接ぎ木をした二世の木が移植され、毎秋、たわわな実をつけています。