後、米子城主中村伯耆守一忠の帰依を受け、米子の城下町造成に際し、慶長年間（１５９６〜１６１５）に中村家の下屋敷（別荘）及び桧皮（ひわだ）葺き四脚門（よつあしもん）を賜り現在地に移転。これにより中村山尾高院西念寺と号したが、現在は専修山西念寺と称する。（また山門は尾高城の城門を移したとの伝承もある。）

元禄１４年（１７０１）、隣寺よりの出火により本堂は類焼するも、桧皮葺き四脚門の山門のみは残存し現在は瓦葺きに改められている。

現在の本堂は明治１７年（１８８４）の再建。大山寺白書院の古材を用いたとする伝承もある。
鐘楼と梵鐘は昭和２６年（１９５１）の建造。（明和５年（１７６８）の鋳造銘のあった鐘は第２次大戦中に供出。)

※平成１３年（２００１）１０月２９日よりホームページ「真宗大谷派　西念寺」の配信を開始。

※平成２４年７月〜１２月、山門の老朽化に伴い解体・新築工事。塀も同時に改修。
　　　　　　　　　(工事の模様はfacebook「真宗大谷派　西念寺」に掲載中）