德斯特家族针对世贸中心的抗争，为日后一场声势更为浩大的公开争斗埋下了伏笔。当时，数家大型开发商默默瓜分了整座时代广场的数十处地产，而德斯特就是其中之一。他的租户中有一部分来自社会底层群体，当中不乏脱衣舞、“按摩院”以及其他那些必定能在70年代的现实主义影片里找到的各类不良行当的经营者。到1984年时，单单是42街的一个街区上，每年就有2，300起犯罪案件发生。

　　就像建世界贸易中心的时候一样，也有家准政府实体试图改变游戏规则——他们下令对该地区进行耗资达26亿美元的重建工程，同时给予开发商2.4亿美元的税款减免，但是他们却将开发权发放给了另一位房地产大鳄乔治·克莱因(George Klein)。德斯特家族再次揭竿而起，发起了三场诉讼，据说还为另外40余场诉讼提供了资金支持(德斯特家族否认了这一传言)，并且煽动公共舆论。(西摩于1988年时在一篇专栏文章中写道：“说不定到时候这一整栋新的办公场所只会为贩毒及其他非法勾当提供更多的消费者，把这里变成世界上最为臭名昭著的街区之一。”)也多亏了当时的疲软经济，他们最后成功地将重建工程拖过了几乎整个80年代。

　　接着，到了1994年，随着房地产市场日渐繁荣，他们也伺机而动。道格拉斯从克莱因(当地的政府指定开发商之一，也是德斯特家族的诉讼对象)手中买下了开发权，顺便赚到了共计1亿美元的免税额度，而该家族之前曾极力反对这项优惠政策。“的确，这挺讽刺的，”德斯特在当时接受《纽约观察家》(New York Observer)采访时如此说道(这与如今他对世界贸易中心工程的评语同出一辙)，“但我们并没有真正享受这项税收优惠。如果真的有这么回事，我们肯定会用的。”坐落于42街的时代广场四号(Four Times Square)，是该家族修建过的规模最大的工程，也是道格拉斯的最爱(西摩于1995年去世后，道格拉斯顺理成章的成为他的接班人；其兄长罗伯特则离开了家族企业)。他把原本落户于麦迪逊大道的康泰纳仕集团变成了自己的招牌租户，将时代广场迪士尼化的行动也迅速展开。“这是一个神奇的家族，”自1986年以来一直担任纽约房产局(Real Estate Board of New York)局长的史蒂夫·斯皮诺拉(Steve Spinola)说，“他们引发了很多争议？我认为，如果你没有什么争议性，那说明你在自己的行业里并不杰出。”