私の理解している範囲のお答えですので間違えているかもしれませんが
横軸は、RGBの各レベルです

RGBがまったく同じなら、無彩色なのでモノクロ
差が大きいと、色がつき、彩度の大きさになるわけです

私がよくわからないのは、縦軸なんですが、各ピクセルの
積算だと思っているのですが、どうなんでしょうね？

テレビだと、
http://www.watch.impress.co.jp/av/docs/20070314/ezsp04.jpg
こういう表示方式で明るさを表示します

縦軸は明るさ、縦のにじみは、彩度
横軸は、画面の上のほうからの位置です

こういう方式にしてくれると、慣れているせいかわかりやすいんですが