隋、唐时期，剑道传入了日本，日本的武士们在长年的征战中不断积累经验，对中国式刀剑的技法及形制进行了改进，逐渐形成了自己的面貌。尤其到了室町时代中后期，由于连年的战乱，不单武士，连一般百姓也加入习武的行列，于是出现了专门的剑道师范，各种流派也应运而生。当时剑道被称为"兵法"或"小兵法"，练习时没有护具和竹刀，只用木刀做"型"的练习。在江户时代中期（1710-1770），直心影流的长沼四郎左卫门和一刀流的中西忠藏等人发明了接近今天剑道的护具和竹刀，从此剑道开始了穿着护具用竹刀进行实战的练习方法。

到了明治维新时期，文化上实行全盘西化，剑道风气也日渐衰落，加上明治九年还颁布了"废刀令"，剑道近乎衰亡。明治十年在西南战争中，示现流训练出来的萨摩军将官军杀得大败，剑道重新得到了重视，明治12年剑道被列为警视厅的必修课，同时部分学校也开始将剑道列入课程。明治44年剑道被列为中学和师范学校的正课。大正元年，200多个剑道流派被整理统一，制定了今天我们练习的"日本剑道型"，原来的"他流比试"被普通的剑道比赛所取代。

日本自大正至昭和前期，是剑道在体制方面得到完善，在普及方面也取得了空前效果的时期。

1945年二战结束，盟军司令部以"武道被超国家思想和军国主义所鼓舞和利用，被视为军事训练之一环"为理由，命令剑道、柔道、弓道、剃刀等所有武道全部从学校体育课程中删除，同时一般人的武道活动也全面禁止。翌年，"大日本武德会"解散，其财产被全部没收，剑道几乎完全消失。

1950年全日本竹刀比赛联盟成立，剑道在以纯粹体育活动的竹刀比赛的名义下复苏。1952各大、中学校也把竹刀比赛列为学校体育比赛项目，不久，日本剑道联盟成立，1953年剑道重新被纳入学校体育课程。1954年解散竹刀比赛联盟，统一为全日本剑道联盟并加入日本体育协会，1955年起剑道成为国民体育大会的正式项目。