在日本园林中，最基本的植物是常绿树木，它们与山石、水体一起被称为最主要的造园材料。在日本传统造园家眼中，一座园林的四分之三都应由植物、山石和水体构成。常绿植物不仅可以经年保持园林风貌，也为色泽浅亮的观花或色叶植物提供了一道天然背景。不过，以常绿植物为主构园林并不一定色彩单调，它们的绿色也有从黄绿到蓝绿甚至墨绿色的区别。此外，有些常绿植物在春季还会长出浅绿色的针叶和球果，有些则在秋季结红色或蓝色的浆果，从而使园林色彩更为丰富。
　　松：在大多数日本园林中，最流行的常绿植物是日本黑松，它也是多数日本人认为最好的树木。黑松是多风的日本岛沿海地区的乡土树种。在幼年时，大多数松枝的排列都有如车轮辐条一般，从树干向外辐射开去。当一棵松树长成后，因风、雪、病虫害侵袭或日照不足，每列树枝中的弱枝都会折断或死去，这样，这株树就逐渐脱离了原有的完整形态，而是长成饱经风霜的非对称形，黑松有着坚硬的、深绿色的针形叶，深裂的黑色树皮和无畏、极不规则生长的习性。在日本人看来，正是这样的个性才使黑松具有多折角、男性化的外部形态。所以，在传统的日本园林设计中，黑松常常是作为一座枯山水庭园或一处池泉庭园的中心焦点，它往往被置于一个半岛上，曲曲折折的枝干便悬垂于水面之上，形成一幅优美的画面。
　　另一种深受日本民众喜爱的植物是日本红松。和黑松一样，红松之名也来自它的树皮颜色，即一种黯淡的橙红色。与黑松相比，红松显得较为纤细、柔美，也较难生长，所以它被认为是一种女性化的树种，常常被用作男性化的黑松的从属树。在日本传统园林中，这两种松树被一齐种植于池泉边缘。有的红松变种体态低于平而伸展，造型更加优美。在自然状态下，红松可生长至3米高，但经修剪后，它可以保持较低的体量，其高度与宽度几近相同。
　　日本雪松：除松树以外，日本雪松也是传统日本园林中的主要树种。这种高挺的锥形树不仅可提供宝贵的带有香味的木材，它还有一些适于园林造景需求的小体量的变种。这种变种雪松有着细小、浓密的蓝绿色针叶，它们可被修整为装饰性的圆球形状，而且在冬季，如各方面条件适合，其树叶也会变为青铜绿色。日本花柏：日本花柏具有与雪松相似的形态，但叶片不同。两者的树冠都是圆锥形，常见品种均会生长至相当高度，但也均有相当数量的低矮形变种。花柏的叶呈鳞状，枝叶纤细优美，可产生动人的光影效果。花柏的有些变种仅1米左右的高度，而有些品种的叶片如线且为金色。
　　其它日本园林中常见的常绿针叶树还有生长缓慢、枝条优美的紫杉，兼有乔木、灌木及匍匐性变种的杜松。