金刚组创办于公元578年，此时中国正处在南北朝时期，三年之后的581年，隋朝才代北周而立。

　　公元578年，日本敏达天皇6年，圣德太子为庆祝灭掉6 纪时期的废佛派官员物部守屋，祈求法神四天王，庇佑佛法及信众，从韩国百济招请匠人柳重光，兴建四天王寺。该寺被视为飞鸟时代的代表建筑，期间经历七次破坏，屡被修补，一直保存至今。金刚组在往后历史中亦以建造佛寺为主，公元607年，金刚家族建造法隆寺，达到日本木造建筑的高峰。法隆寺与四天王寺是代表日本建筑的两大历史遗产，它们的构筑施工方法至今还脉脉相传地存活于金刚组<施工方法汇编>里。金刚家族还曾两度完成水戸偕乐园（与金泽兼六园、冈山后乐园并称日本三大名园）中“好文亭”的复原设计工作。

　　柳氏的子孙亦因兴建该寺而备受重视，由他们组成的金刚组，“堂主”相当于总裁一职，至今已传至第40代。金刚组的企业架构分成多个小组，约5至8人为一组，各组保持其独立性，互为竞争。小组会集中改良固有技术，接单时总部会评估各组的能力，藉以决定哪一组承办工作。他们就能将一根水泥柱，建得像木柱一样。金刚家族第40代堂主金刚正和曾说：“我们公司能生存这么久其实没有什么秘密。正如我常说的，坚持最最基本的业务对公司来说非常重要。”金刚正和认为，无论是经济繁荣还是衰退，专一于自己的核心业务永远是生存之道。

　　随着社会变迁，金刚组曾经历多次危机，曾多次差点倒掉。第一次是19世纪明治维新之后，日本反佛教运动导致许多寺庙被毁，金刚组惨淡经营。第二次是1934年，金刚组传至第37代时，世袭传人无意经营，家族只好任命第37代嫡孙之妻担任“堂主”才让金刚组避免了解体。第三次是二战时期，因为战争，金刚组差点关门，这家坚韧的公司最终通过制造军用木箱才熬过战争时期。第四次危机发生在20世纪90年代日本泡沫经济破灭之后。1955年金刚组转型有限公司，除建造寺庙、庭园外，开始承办一般建筑，但过度扩张的行为最终引发庞大负债。20世纪90年代开始，日本泡沫经济破灭，金刚组负债累累，终于在2006年宣布清盘，资产由高松建设2005年11月创建的同名子公司“金刚组”接管，金刚组重回老本行，专做寺庙建筑。在清盘前，金刚组05年财政年度收入为75亿日元，有100名员工，经点算后，负债额为40亿日元。