從繪畫技術發展以來，人類就開始使用這樣一個顏色「赭石」，歐洲史前時代的阿塔米拉壁畫就以此顏色畫出生動的野牛、馬群，在中國貴州也出現以赭石上色的岩畫，這些畫與侍奉神為主，祈求在未來的生活能足食。由於色質偏紅，附著力較好，因此常被使用於山壁上，如上述所知，而敦煌壁畫中也多見。
中西洋繪畫裡，赭石的顏色都為重要的使用色，中國山水繪畫中，常以赭石設色山水，另外淺赭色適用於人物膚色，有時會添加白粉及藤黃使用之。油畫中，以此色作為畫作草稿之用，因易與其它色混和，在許多油畫作品中，也都以此色為基調。