O Consello Xeral do Poder Xudicial foi establecido pola Constitución de 1978 (artigo 122), seguindo os modelos doutros países próximos como Francia, Portugal e, en especial, Italia. A súa creación foi no seu día unha auténtica innovación do constituínte español, xa que non é posible atopar ningún antecedente directo na nosa historia dun órgano de goberno autónomo do Poder Xudicial e garante da súa independencia.

Na historia de España atópanse algúns precedentes remotos de institucións e intentos de crear un órgano que garanta o autogoberno do Poder Xudicial, polo menos parcialmente, pero ningunha alcanzou a mesma natureza e finalidade que o CXPX. En especial porque un órgano deste tipo só encontra a súa auténtica razón de ser dentro dun réxime democrático, baseado na separación de poderes e na tutela efectiva dos dereitos fundamentais e liberdades públicas.

Entre eses antecedentes remotos destacan a Xunta Central ou Suprema (1849), a Xunta Organizadora do Poder Xudicial (1923) ou o Consello Xudicial, creado por Real Decreto de 18 de maio de 1917, aínda que nunca chegou a funcionar ao ser derrogado en xullo dese mesmo ano. Restableceuse en xuño de 1926 para ser novamente derrogado en maio de 1931. Ningún destes exemplos foi un precedente en sentido estrito. Tampouco o foi o Consello Xudicial creado coa Lei de 20 de decembro de 1952 e que operou ata a implantación do réxime constitucional democrático.

No constituínte español influíu a Constitución francesa de 1946, que no seu Título IX regula o Consello Superior da Maxistratura. Foi o precedente dos demais órganos de semellante finalidade establecidos despois na Constitución italiana de 1947 (a partir dos seus artigos 104 e 105) e na portuguesa de 1976 (artigo 220). O modelo italiano foi importado polas Cortes constituíntes nos seus aspectos fundamentais, salvo polo que se refire aos seus compoñentes que, no caso español, quedou fixado na Constitución.

O desenvolvemento normativo das previsións constitucionais debía producirse a través da Lei Orgánica do Poder Xudicial á que alude a propia Carta Magna. Sen embargo, ditouse primeiro a Lei Orgánica 1/1980, de 10 de xaneiro, do Consello Xeral do Poder Xudicial, ante a necesidade de poñer en funcionamento o Tribunal Constitucional xa que dous dos seus membros debían ser propostos polo CXPX, consonte á Constitución (artigo 159.1). Con posterioridade, aprobaríase a Lei Orgánica 6/1985, de 1 de xullo, do Poder Xudicial (LOPX), onde se regulou de forma definitiva o Consello, derrogándose a Lei Orgánica de 1980, e que implicou un cambio na forma de elección dos vogais de procedencia xudicial, sistema que foi reformado en 2001.

A LOPX experimentou, á súa vez, reformas parciais ulteriores a través de Leis Orgánicas que, nalgúns casos, se dedicaron expresamente a isto e, noutros, lle afectaron por razón da materia (Xurisdición Militar, Tribunal do Xurado, etcétera).

O CXPX réxese pola Constitución, pola LOPX e polo seu propio regulamento interno: o Regulamento 1/1986, de 22 de abril, de Organización e Funcionamento do Consello Xeral do Poder Xudicial, cuxa aprobación lle corresponde ao Consello.

O modelo español foi referente para a creación de órganos constitucionais semellantes en Iberoamérica, en especial en Arxentina.