El Consell General del Poder Judicial va ser establert per la Constitució de 1978 (article 122), seguint els models d'altres països propers com França, Portugal i, en especial, Itàlia.  La seva creació va ser en el seu dia una autèntica innovació del constituent espanyol, ja que no és possible trobar cap antecedent directe a la nostra història d'un òrgan de govern autònom del Poder Judicial i garant de la seva independència.

A la història d'Espanya es troben alguns precedents remots d'institucions i d'intents de crear un òrgan que garanteixi l'autogovern del Poder Judicial, almenys parcialment, però cap no va assolir la mateixa naturalesa i finalitat que el CGPJ.  En especial perquè un òrgan d'aquest tipus només troba la seva autèntica raó de ser dins d'un règim democràtic, basat en la separació de poders i en la tutela efectiva dels drets fonamentals i les llibertats públiques.

Entre aquests antecedents remots destaquen la Junta Central o Suprema (1849), la Junta Organitzadora del Poder Judicial (1923) o el Consell Judicial, creat per Reial Decret de 18 de maig de 1917, encara que mai no va arribar a funcionar en ser derogat el juliol d'aquell mateix any. Es va restablir el juny de 1926 per ser novament derogat el maig de 1931.  Cap d'aquests exemples va ser un precedent en sentit estricte.  Tampoc ho va ser el Consell Judicial creat amb la Llei de 20 de desembre de 1952 i que va operar fins a la implantació del règim constitucional democràtic.

En el constituent espanyol va influir la Constitució francesa de 1946, que en el seu Títol IX regula el Consell Superior de la Magistratura.  Va ser el precedent dels altres òrgans de similar finalitat establerts després a la Constitució italiana de 1947 (a partir dels seus articles 104 i 105) i a la portuguesa de 1976 (article 220).  El model italià va ser importat per les Corts constituents en els seus aspectes fonamentals, llevat el que es refereix als seus components que, en el cas espanyol, va quedar fixat a la Constitució.

El desenvolupament normatiu de les previsions constitucionals s'havia de produir a través de la Llei Orgànica del Poder Judicial a què al•ludeix la pròpia Carta Magna.  Tanmateix, es va dictar primer la Llei Orgànica 1/1980 de 10 de gener del Consell General del Poder Judicial davant la necessitat de posar en funcionament el Tribunal Constitucional ja que dos dels seus membres havien de ser proposats pel CGPJ d'acord amb la Constitució (article 159.1).  Amb posterioritat, es va aprovar la Llei Orgànica 6/1985 d'1 de juliol del Poder Judicial (LOPJ), on es va regular de forma definitiva el Consell, derogant-se la Llei Orgànica de 1980 i que va implicar un canvi a la forma d'elecció dels vocals de procedència judicial, sistema que va ser reformat el 2001.

La LOPJ ha experimentat, al seu torn, reformes parcials ulteriors a través de Lleis Orgàniques que, en alguns casos, es van dedicar expressament a això i en d'altres se'n va veure afectada per raó de la matèria (Jurisdicció Militar, Tribunal del Jurat, etcètera).

El CGPJ es regeix per la Constitució, per la LOPJ i pel seu propi reglament intern: el Reglament 1/1986 de 22 d'abril d'Organització i Funcionament del Consell General del Poder Judicial, l'aprovació del qual correspon al Consell.

El model espanyol ha estat un referent per a la creació d'òrgans constitucionals similars a Iberoamèrica, en especial a l'Argentina.