一八五五年，太平天国军队东翼，辗转在苏杭一带。由于太平军是农民起义军队伍，军队的组成结构比较灵活，军队的作战方式也比较多变，不少部队都有着类似于游击战部队的性质，加之当时东南一带相对富庶一些，因此一些太平军军队就干脆在占领区实行了军民合住，枣庄的荫余堂，就是这么一处。荫余堂是这一地区黄氏一个分支的祖宅，这个黄氏家族，在清朝中后期已经没有了什么名声，不过在清初的时候，也算是当地一个大家族了。鼎盛时期的黄氏家族，人口数量达到将近六十人，加上老宅子里的仆人和丫环，总人数几乎达到一百多人。这一百多人中的一大半，就生活和居住在荫余堂里。
荫余堂是一套非常典型的苏杭地区富有家庭居住的明清时期的宅子。宅子本身以及附属于宅子的土地，总共占地面积近一千平方米，其中，建筑面积总共约四百平方米，院落面积总共约五百平方米，是一个名副其实的大宅院。宅院建筑严格遵循中国古代建筑的礼制要求，在院落和宅子的风格和布局方面，非常考究。例如，院落的整体形制，是一个巨大的“凹”字，映衬着中国古代传统文化中的“谦虚”，同时，这种布局形制，也不会给宅子之外的人带来唐突感和冒犯感。又如，宅子周围的院落中，依次分布着不同高度和不同大小的三块草坪，其中有两块副草坪和一块主草坪，三块草坪的分布也充分体现着中国古代传统文化中的“正”与“和”字，显得端庄。
然而，太平军队的到来，曾经一度几乎打破了这座老宅子的宁静，甚至几乎一度让这片地区成为一片废墟。一八五五年八月，荫余堂的堂主黄老先生，收到了一封来自太平军方面的书信，书信的大致意思是，我们太平军所做的一切，都是为了贫苦农民的利益，因为这个缘由，农民百姓们也应该知恩图报。最近，太平军大军需要在枣庄一带驻扎，由于军队没有足够的物资用来安营扎寨，因此一部分部队需要暂时借住在民居中。听闻贵宅是一座非常著名的宅子，我们原本不想破坏贵宅和宅子主人生活的平静。然而迫于形势，我们又不得不这么做。因此，如果未来的五天之内，有任何前往贵宅的太平军战士，提出借住的需要，希望您能够满足他们的需求。
从表面看，这是一封措辞比较谦虚和婉转的信。从实际看，这封信中包含的意思，完全没有商量的余地，是一种委婉的通知。当时的黄氏虽然已经没有当年的社会地位和社会名望，然而瘦死的骆驼比马大，黄氏依然是当地比较有名望和财力的家族。正是由于这个原因，黄氏家族的掌舵人，不希望太平军借住在自己的宅子里，这样一来，至少会带来三方面的麻烦。首先，虽然当时清朝已经腐朽没落，而太平军确实是一支富有朝气的队伍，甚至从某种程度上看，太平军代表的意识形态，虽然没有逃脱封建桎梏，但已经带有一些朴素的资产阶级色彩，也就是更加进步。然而对于黄老及其家族这样的普通百姓来说，并不会考虑太多这方面的因素，他们主要考虑的，是自己的利益。换句话说，如果黄氏允许了太平军入住荫余堂，就等于站在了太平军这边。
其次，荫余堂中有许多非常珍贵的古董和文物，一部分是祖传下来的，一部分是后来购买的贵重物品。同时，黄氏在当时还颇有资产。这两方面因素直接决定了，如果黄氏同意太平军入住荫余堂，那么这些军人就不可避免地会与荫余堂里的各种珍奇宝物接触了，这种情况下，如果发生了偷窃行为，吃亏的只能是荫余堂和黄老，绝不会是太平军。最后，如果太平军入住的话，或多或少都会给黄氏一族的正常生活带来很大的压力，甚至会破坏黄氏家族的完整。况且黄氏一族当时并不知道太平军到底要住多久，如果短时间借住，尚且能够接受。如果长时间借住，后果不堪设想。
带着这种种忧虑，黄氏掌门人给太平军回信，大意是说，听闻太平军在我们这一地区活动，我们感到高兴。太平军代表着我们普通人的利益，我们原本没有任何理由拒绝你们暂住的需求，我们也会尽量满足你们的需求。只是我们有一个小小的条件，暂住可以，但是必须约法三章。第一，暂住时间不能超过半个月。第二，暂住过程中，不能出现任何偷盗行为和破坏宅子完整性的行为。第三，暂住期间绝对不能出现任何伤天害理的事情，更不能破坏黄氏家族的完整。以上三条，必须全部满足，方可入住。如果在入住时期内，有任何一条规矩被破坏了，还请大人您带着您的手下，另寻高明。
黄老的回信有理有据，斩钉截铁，然而，太平军的素质也是参差不齐的。如果黄老这封信，被当时太平军中一些文化程度高的将领看到，很可能就会答应这个约法三章。然而，当时活动在枣庄一带的太平军，只是一个比较小的分支，其成员组成也没有那么高的文化修养。根据后来的黄氏年谱中的记载，太平军实际上早已经先斩后奏了，在给黄氏家族写信的时候起，就已经开始开赴枣庄荫余堂了。因此，黄老的信刚刚发出去，一些零星的太平军士兵，早已经来到了这里，准备入住了。由此可见，很可能黄老这些信中的内容，太平军根本不知道。
然而这次入住，从事后证明看，是一次有惊无险的劫难，至少对于黄氏祖宅来说是这样。太平军在这个宅子里，既没有一直住下去，甚至都没有住满半个月时间，只是住了短短四天，但就在这短短四天里，却让黄氏一族遭受了很大的挑战。太平军刚刚入住荫余堂时，尚且安分守己。然而在租住的第一个晚上，就收拾不住了。一些太平军士兵，彻夜不眠而饮酒，喝醉了酒就开始耍酒疯。之后的三天之内，天天都是如此。最终，在第四天半夜，不知什么原因，荫余堂的后院突然起火了，当时那些整日闹腾的太平军士兵们，这时候担心了起来。其他人跟着扑火。大火烧掉了荫余堂后院的一座库房，这个库房里面，没有存放什么珍奇的宝物，这些宝物早早就被黄家人转移了出去。但是，黄氏一族认定了这件事应该归责于太平军战士，最终，也由于太平军已经准备转移，便在第二日离去了。就这样，荫余堂逃过了一劫。
再后来，随着社会的巨大变革，荫余堂再也没有了往日那种繁华和气派。进入二十世纪后，许多黄氏子弟都分散到了全国各地，从事不同的工作。荫余堂里留守的人，已经很少了。这种状况，持续到一九九五年。这一年，黄氏家族的后人，认为这所宅子与其留在黄氏自己手中，不如卖掉。因为黄氏当时已经没有足够的人力和物力，去维护和供养这座宅子了。如果长期下去，这座宅子很可能最终会越来越破败。于是，黄氏后人决定将这座宅子直接卖掉。然而，由于这个宅子的地理位置非常好，面积又很大，因此卖价非常高，不是一般老板能够担负得起的。而且，由于当时的荫余堂已经年久失修，对这种级别宅子的修缮和保护工作，不仅仅涉及到金钱的问题，还涉及到技术的问题，所以在很长一段时间内，都没有人敢接手这个宅子。
就这样，两年多过去了，依然没有买家敢买荫余堂，最终，黄氏家族的后人，实在支撑不下去了，就决定干脆把老宅子的一些次要部分拆掉，只留下主要部分，再等待买家来买。谁知，当时要卖宅子，无人问津，这下要拆宅子的消息，却传到了万里之外的美国。当时，美国一位名叫约翰-费斯通的商人，非常热爱中国传统文化，不知他从什么渠道打听到了，中国正好有一座这样的几百年老宅要拆除，于是赶紧通过朋友，联系上了黄氏家族的后人。后来，费斯通亲自从美国飞到中国来，和黄氏家族的后人进行了深入沟通，了解了这座宅子的前因后果以及历史情况，他被深深震撼到了。于是，他决定花费1.25亿美元，买下这座宅子，并且将宅子原封不动搬到美国去。要知道，当时的荫余堂已经经不起这样的折腾了，不过，这位费斯通是一个有钱人。
他从美国派出了一个专业的建筑团队，又在中国招募了一些人，用了半年时间，对荫余堂的里里外外，进行了详细描绘和测绘，最终在图纸上，还原了荫余堂的每一个角落，又利用当时在美国比较先进的信息技术，将这些信息输入了计算机。随后，荫余堂按照一定的编号和次序，被一点点地拆除掉，然后通过远洋货轮，运送到了美国，在美国根据之前的数据记录，进行了重新组装。最终，荫余堂奇迹般从中国大地毫发无损迁移到了美国的土地上。后来，许多华人都闻讯赶来，参观这座宅子，再后来，这里逐渐成为了一个华人聚集的场所，许多美国的华人，都来到这里，甚至生活在这里。