劉瑞山有三位夫人，第一位夫人名謝就，她小劉瑞山四歲，育有青雲和秀琴一男一女。有關她的資料和相片幾乎都不可求，只知她生於1871年10月1日，父親名謝對，母親名盧用，劉家的戶籍謄本上有記載他於1887年10月12日，16歲時從保西宮街轉入劉瑞山戶口，1911年3月23日因子宮癌去世，得年僅40歲，時青雲17歲，秀琴14歲，劉家留有一張模糊不清的送葬隊伍相片，她葬於台南市南區基督教公墓。最近筆者翻箱倒櫃，找到了一張劉家僅存的謝就相片，是她與二房劉大粒夫人—葉巧的合照，兩位婦人都有纏足，相片中還有兩位小孩，分別是謝就的長子劉青雲及葉巧的長女劉富（1893.3.6-1958.5.15，適李明道）。攝影地點可能是大房或二房的祖厝，時青雲約4-5歲，攝影年代約1898-99年。這張照片可能是劉家所存第二古老的相片，比瑞山和五位孩子所照的（約1909年）合照還早十年。

劉瑞山的另一位夫人是王環治，1889年10月25日生；她的父親名王池，母名林桂。王家原住台南縣南化鄉，劉家的戶籍謄本上有記載她於1904年5月15日，15歲時從台南市清水寺街12番地入劉瑞山壽町戶口。她是劉瑞山生活上衣食的好幫手。她育有三男（主安、青和、青眼）三女（彩仁、秀霞、秀華），因為纏足個子又比較小，家人都稱她為「矮仔婆婆 e a ba san」，她於1980年7月3日病逝台北，享受93歲，葬於台北北投小坪頂信義公墓，筆者當年曾前往台北參加告別禮拜。

劉瑞山還有一位賢慧的夫人名許瓊花，是台南市南區灣裡人，1882年2月2日生，父親名許藤，母親陳纏。她育有三男（子祥、青江、青波）一女（秀滿），家人都她為「花仔婆婆  hue a ba san」，她身材較高大，因未纏足，身材較壯碩，較粗重的事情，她也可料理。她於1969年4月5日病逝台南，得年87歲，葬於台南市南區基督教公墓。他比愛孫劉鴻誠（子祥次子）還晚過世，劉鴻誠因飛機墜毀別世（1964.6.20），劉家上下守口如瓶，並未讓她老人家知道，以免傷痛俞恆。