立意良好的「以房養老」商品推出以來，近幾年成長速度明顯趨緩。此商品的市占龍頭合作金庫銀行主管指出，目前推動主要面臨了三大困難，即高齡者不喜歡負債感；傳統觀念房屋要留下來傳承，以及來自子女的反對等。後兩者主要是觀念問題，至於前者，涉及到金融商品如何創新，減少客戶出現欠債的感受。
多家金融機構的主管強調，台灣步入了高齡化社會，提供年長者更多樣化的金融商品，滿足他們退休生活所需的資金視當務之急，確實部分年長者對俗稱以房養老的反式房貸，會因為涉及到負債而觀感不佳，寧可改以申辦留房養老結合信託，或擔保品出售、出租等其他方式，以獲取安養資金。
此外，也因為台灣民情仍保有養兒防老，以及與子女共享天倫的想法，多數年長者都將房產視為重要的資產，不願意把年輕時奮鬥而來的房產賣掉，或向銀行辦理借貸，這樣的觀念根深蒂固，需要持續的溝通與說明。
至於家人提出反對的意見，常是年長者申辦以房養老貸款業務之前，未充分與子女、家人溝通，導致子女反對申貸而無法成功申請，或撥貸後提前清償終止以房養老貸款。
華南銀行主管說，目前實務最常遇到的問題，大多為國人「有土斯有財」傳統觀念，子女認為不動產未來應由自己繼承，反對父母將不動產設定抵押權給銀行，不同意父母透過「以房養老」的方式，換取生活資金，部分父母也因考量家庭和諧因素，而放棄申辦。
除此，高齡者還有其他多種顧慮，例如，不動產價值及借款期間長短，影響每月領取的生活資金；利率變化影響每月金額，如升息會造成貸款月付利息增加，扣除利息後可動用的貸款額度會減少等。此外，通貨膨脹時代來臨，而目前的貸款金額，10年、20年後是否符合生活所需，也讓不少人心存疑慮。最後是「以房養老」商品較複雜，不少年長者因不容易充分暸解權利與義務，而打退堂鼓。
華銀建議，此商品走到目前，應可思考是否透過政府提供類似信保機制等方式，分攤銀行風險（如房屋跌價拍賣損失），銀行也較有意願提高成數及延長借款期間。