桑噶方托寺在洛扎縣境，由西藏著名苦行僧米拉日巴于北宋熙寧十年（107年）修建。據(jù)載，起初其師馬爾巴要他修建三角形的房屋，修了大半，令其拆掉。繼又要他修建半圓形的房屋，當(dāng)快要完工的時(shí)候，馬爾巴又令其拆除。幾經(jīng)拆修，最后建成現(xiàn)存碉樓式的樓房。原高9層，現(xiàn)存7層。

后來米拉日巴的門徒眾多，逐步形成了遍布全藏的噶舉教派，桑噶方托寺也建成了一座頗具規(guī)模的大寺。寺里藏有古本手抄經(jīng)卷，頗為珍貴。