中国山水画的起源可以追溯到原始社会。在中国新石器时代马家窑文化半山类型的彩陶图案中，就能找到起伏的山川纹、水波纹，这些纹样用笔飞动流畅，描线娴熟奔放，具有强烈的节奏感与装饰性，这是古代人们对自然山川的体验。
但从汉魏壁画看，山川景物还只是作为人物画的背景，只能约略窥见其形貌，画山石只勾染而无皴擦，画水多用线，树干与叶子也用勾染法，山石与任务大小比例不合，树木造型尚处于稚拙阶段。
东晋，山水画才得以发育滋长。顾恺之在《论画》中提出：“凡画，人最难，次山水，次狗马„„”可见，此时山水画已与人物画并论，初步独立成为绘画的一个门类。
隋、唐、五代时期（公元581年——公元960年）是中国古代绘画全面发展的时期，是中国绘画史上最具有划时代意义的历史阶段。这个时期，绘画受到统治者的重视，绘画创作活动十分活跃，南北画家汇集京都，提供了相互切磋技艺的良好条件，不同题材和种类的绘画开始出现，一些画家开始从事独立的山水画创作。
这种画法的特色，发展到了唐代的李思训、李昭道父子，便形成了“青绿山水”，成为中国山水画中一种独具风格的画体。
在唐代艺术整体繁荣的局面下，山水画也步入成熟阶段，并且形成风格不同的两大主要流派。一是以唐宗室武将李思训、李昭道（俗称大小李将军）为代表的青绿山水，一是以文人士大夫王维（世称王右丞）为代表的水墨山水。 李思训父子在形式上进一步发展了以山水为主体、人物为点景的格局，采用青绿勾斫，开创了“青绿为质，金碧为纹”的“金碧山水”画，亮丽壮观，工致动人，把传统的色彩表现形式更进一步发挥得绚丽灿烂。
王维以文人士大夫的身份进行绘画创作，山水以渲染为主，用笔简练奔放，强调水墨效能的发挥，即便设色，也讲究自然清淡，追求含蓄、悠远、纯净的境界。多描写自身生活的环境，表现了恬淡闲居的生活理想，被苏东坡称为“画中有诗，诗中有画”。
五代
荆浩为五代后梁时代的儒生，因避战乱隐于太行山洪谷，擅画云中山顶，四面峻厚，气势磅礴，深得北方气象。他运用坚劲而密集的皴法，恰如其分地表现出山石的凹凸明暗和纹理结构，并以虚实浓淡变化多端的水墨创造出富有质感的画面，表达了既雄伟又深远辽阔的意境，有“全景山水”之称。
董源的山水，好 以淡墨轻岚写出江南平淡天真只趣。尤擅长用披麻皴，线条圆润细长，如麻线下披，并缀以点子皴，描绘出江南山峦土厚林茂、草木花滋的特色。山水之中又以人物渔舟点缀其间，人物工细设色，为寂静幽深的山林增添了无限生机。
北宋时期，反映自然美的山水画空前兴盛。
北宋初年水墨山水画家的杰出代表有齐鲁画派的李成、关陕画派的范宽。 李成善画烟林平远之景，变雄劲、深厚为清旷萧疏
范宽喜用全景式构图，常以雄壮陡起的巨峰为主景，环之以群山、坡地、林木和瀑流，点缀以行旅、渔舟、寺观、栈道和山居，气格雄阔壮美，深厚峻拔。笔法苍老势劲，树石刻画精谨，皴法多用雨点、解索，画面墨色森然，真实地再现了中原一带峻厚巍峨、土质干燥的山岳面貌。
北宋中期郭熙的山水，以幽奇神奥取胜，布置巧妙，变化多端，画山石形如“鬼面”，皴如“乱云”，写瘦树枯枝，妆如“蟹爪”。
中国古代的水墨山水画，由于北宋文人画家的努力，进行新的尝试，由以往注重写实、客观再现山川景物，逐渐向注重写意、忽视形似、强调表现艺术家主观感受的方向发展，创造出了新颖的风貌，从而使中国山水画艺术能更加细腻地表达出艺术家的主观感受，更加充满了诗歌的抒情意味。
米芾、米友仁父子创造的“米氏山水”便是这种转化过程的重要表现。他们擅长“墨戏”，善用多层烘染和卧笔横点成块面，使水墨画的积墨、破墨、渍染、渲染等技巧得以充分发挥，达到云山空濛、烟云幻灭的效果。这种不求形似而求神韵的画法，为后世文人画的发展树立了楷模
南宋
李唐，北宋山水画风向南宋画风过渡性的关键人物。作品雄浑坚实、刻画繁复、细致精到。北宋亡后，辗转来到南方，画风也开始转变，以水墨淋漓一挥而就的“大斧劈皴”表现岩石雄壮坚实的形质，气势磅礴，开创了豪放简括、水墨苍劲的山水画风
宋室南渡，定都临安，江南秀丽的风景便成为宫廷画师们摹写的对象。
江南山水以疏淡奇秀见长，与北方雄浑壮伟之势不痛，为了展现江南烟笼雾罩、清旷空灵的美景，画家马远创造了布局简妙、以偏概全的方法，将复杂的自然景色进行大胆的概括、提炼和剪裁，使主题表现得集中而突出。
马远的画面上常留出大片空白，使之空旷邈远，给人以遐想的余地，具有诗一般的境界，突破了前人全景式的大山大水章法，人称“马一角”。 在笔法上，马远以饱蘸墨汁的大斧劈皴法表现坚实奇峭的巨壁山崖，造型棱角分明、刚劲挺直。
元代（公元1279年——公元1368年），大部分汉族文人士大夫在政治上难以施展抱负，只能寄情于诗文书画，主要借山川、枯木、竹石寄情抒志，给元代绘画带来了以文人画为主流的重要转折。
元初以钱选、赵孟頫等为代表的士大夫画家，提倡复古，回归唐和北宋的传统，主张以书法笔意入画，因此形成了元画的重气韵、轻格律，注重主观抒情的风气。
“文人画”不但强调以书入画，而且要求画家具有文学修养，把绘画作品变成实诗、书、画为一体的艺术形式，使中国绘画艺术更富有文学气息和民族特色。 钱选是位隐居的处士，绘画的题材广泛，具有创新精神，比较突出的是青绿设色复古山水画方面。
赵孟頫的画风大致有两种，一是工整秀雅的重彩画，一是豪放简率的水墨画，或强调书画同源，以书法入画，或博采晋、唐、北宋诸家之长，以气韵生动取胜。
元代中晚期的代表画家是黄公望、吴镇、倪瓒、王蒙，史称“元四家”。他们弘扬文人画风气，以寄兴托志的写意画为旨，反映消极避世思想的隐逸山水和象征清高坚贞人格精神的梅兰竹菊松石等题材，广为流行，文人画山水画的典范风格至此形成，对明清两代影响很大。
山水画到了明代，画风更迭，画派丛生。
明代早期，宫廷院画和浙派盛行于画坛，形成了以继承和发扬南宋院体画为主的时代风尚，使得明代宫廷山水画一时呈现南宋院画的面膜。
明代中期，苏州地区崛起了吴门画派，他们主要继承了宋、元文人画的传统，影响逐渐扩大，一跃而为画坛主流。
以沈周、文徵明、唐寅、仇英为代表的吴门画派，他们的山水画多描写江南风景和文人生活，抒写宁静幽雅的情怀，注重笔情墨趣，讲究诗书画的有机结合。 明代后期的画坛中心人物是董其昌，他极力鼓吹纯“文人画”，写得一手好字，善于把书法渗透到画法之中，所作注重笔墨技巧，书画同体，讲究气韵，慕求风神，带有主观抒意，虚和萧散，追求似与不似。
在清代山水画家中，具有开拓性的画家是活动于清初的石涛、朱耷、髡残、弘仁四人，四人均出家为僧，故画史上并称“清初四僧”。
石涛和朱耷是明朝皇族宗室后代，清王朝取代明朝后两人都撑了明代遗民，他们借画抒写身世之感慨，宣泄抑郁的愤懑之气和对故国山河的炽热情感。
“四僧”之中以石涛的山水画成就最高，他的山水画富有创新精神，景色郁勃新奇，构图大胆新颖，笔墨酣畅流利，格调昂扬雄奇，在运笔用墨、设色构图上皆突破陈法，令人耳目一新。
