Atatürk bir gün çiftliğe gittiğinde, köşkün hemen yanındaki ulu çınar ağacının dallarını kesmeye çalışan bir bahçıvan ile karşılaşır. Hemen bahçıvanı yanına çağırarak bunun nedenini sorar. Görevli bahçıvanın cevabı şöyledir: Ağacın dalları uzamış, binanın duvarına dayanmıştır.
Aldığı cevaptan tatmin olmayan Atatürk, düşünülmesi bile imkânsız olan bir emir verir: “Ağaç kesilmeyecek, bina kaydırılacak.” Görev İstanbul Belediyesi’ne intikal eder. Belediye Fen İşleri Yollar Köprüler Şubesi sorumluluğu üstlenir.
Başmühendis Ali Galip Alnar yanına aldığı teknik elemanlarıyla Yalova’ya gelerek çalışmaya başlar. 8 Ağustos 1930 tarihinde önce bina çevresindeki toprak büyük bir dikkatle kazılıp yapının temel seviyesine inilir. İstanbul’dan getirilen tramvay rayları döşenir.
Santim santim çalışılarak bina yapı altına sokulan raylar üzerine oturtulur. Artık binanın raylar üzerinde kaydırılarak ağaçtan uzaklaştırılması aşamasına gelinmiştir.
Güzel ve sıcak bir yaz akşamında Ulu Önder Atatürk ile birlikte, kardeşi Makbule Atadan, Vali Vekili Muhittin Bey, Emanet Fen Müdürü Ziya Bey ve Cumhuriyet Gazetesi Baş Muhabiri Yunus Nadi nezaretinde bina 4.80 metre civarında kaydırılır.
Bu olağanüstü ve riskli iş 10 Ağustos 1930 tarihinde tamamlanır ve ulu çınar ağacı da kesilmekten kurtulur. O günden beri köşkün adı “Yürüyen Köşk” olarak kalır.