遠賀川の周囲には、高さ900～1000ｍ の山地が連なり、この山地が遠賀川の流域界をつくっています。

この山地は、過去約2億年前か、それ以上前の古生代から中生代の初めにサンゴ礁をつくる浅くて暖かい海に堆積した石灰岩をはじめとする地層が、その後の地殻変動及び圧力や熱による変成作用によって変性岩等になり、さらにそれらの地層に貫入した中生代後半（約1億数千万年～1億年前）の花崗岩が永い間かかって隆起してできた山地で、北九州の尾根ともいわれる背骨の部分つくっています。

その後、新生代古第三紀（今から4.000年～5.000万年前）には有明海、天草一帯に連なる流域の南側が沈降して沈降盆地となって南方に出口をもつ入江が現われ、海水が侵入して内湾になったり、海がしりぞいて隆起して淡水になったりしました。

この期間を通じて淡水時代には、流域に大森林地帯が出現し、この森林が埋没して筑豊炭田の石炭となったのです。

その後、今から100〜60万年前には、九州中部、北部において火山活動が盛んとなり、このときに流域内でもっとも高い英彦山が形成されました。

この後は寒い気候と暖かい気候が交互におとずれ、いわゆる海水面の昇降をくり返す氷河時代（今から100万年前後から約1万年前）となり、地形的な凹凸をちくる段丘、丘陵の形成と現在の遠賀川流域地下の基盤の谷の発達が行われました。

これによって遠賀川の流れや地形の大部分がこの頃に決まりました。