20世紀初期，楊以德在今南開(kāi)區二緯路和二馬路購地二十余畝，修建了一所四合院和一座具有中國古建筑風(fēng)格的園林別墅，園林別墅被人稱(chēng)之為“楊家花園”。1921年，楊以德將南開(kāi)二緯路原四合院建筑拆除，重建了一座中西合璧的帶地下室的三層樓房（今南開(kāi)區二緯路41號），花園原地蓋成了戲樓。整所樓房占地1019.6平方米，建筑面積為1575.6平方米。磚木結構，歐式高坡屋頂，紅磚綠頂，有仿古突出的外檐，正門(mén)兩側有愛(ài)奧尼克式柱，中間高臺階，南立面為兩層外柱廊。底層是客廳、餐廳，書(shū)房等；二層是臥室及貯藏室；三樓有房屋21間，有寬闊的平臺。地下室供傭人居住。宅院另有數間平房及汽車(chē)庫。
解放后，楊以德舊居由北京軍區廊坊軍分區接收，原花園部分已改建為居民住宅。該舊居在1976年地震中受損，1983年北京軍區曾進(jìn)行維修，整個(gè)建筑除地下室在維修時(shí)被隔成13間房屋，作宿舍和辦公用外，其余房屋均保持原有風(fēng)貌。