El padre de James, Ralph Ernest Haweis James, fue oficial del ejército británico e instructor en la Real Academia Militar de Sandhurst. Su madre, Louise Enders Brega, provenía de una familia adinerada de Chicago. Estudió en The New Beacon en Sevenoaks, Kent, de 1914 a 1918. En 1919, asistió a Harrow School, donde conoció a Evelyn Waugh, Francis Cyril Rose y Cecil Beaton, con quienes entabló una larga amistad. Fue expulsado de Harrow por una "escapada sexual".

Después, James estudió música brevemente en la Universidad de Burdeos, en Francia, antes de irse a Chicago a trabajar. El magnate de los servicios públicos Samuel Insull, amigo de la familia, le consiguió un puesto en el departamento de diseño arquitectónico, donde adquirió las habilidades matemáticas que más tarde le permitirían crear sus vestidos. 

A los diecinueve años, James abrió su primera sombrerería en Chicago, usando el nombre de "Charles Boucheron", ya que su padre le había prohibido usar el suyo.

En 1928, James dejó Chicago para ir a Long Island con 70 centavos, un Pierce Arrow y varios sombreros como únicas pertenencias. Más tarde abrió una sombrerería encima de un garaje en Murray Hill, Queens, Nueva York, donde comenzó a diseñar sus primeros vestidos. En aquel entonces, se presentaba como un "arquitecto estructural de la moda". Para 1930, había diseñado el vestido con cremallera en espiral y el vestido taxi ("tan fácil de llevar que se podía poner en el asiento trasero de un taxi").

De Nueva York, James se mudó a Londres, donde abrió su taller en Mayfair. Diseñó el vestido de novia de Baba Beaton, hermana de Cecil Beaton, para su boda con Alec Hambro el 6 de noviembre de 1934. James creó una interpretación moderna del vestido de novia blanco, con escote alto y cola dividida. En 1936, fundó la empresa Charles James (London) Ltd., utilizando oficialmente su propio nombre por primera vez.

James también pasó un tiempo en París a principios de la década de 1930, trabajando desde el Hôtel Lancaster. Presentó su primera colección en la capital francesa en 1937. Ese mismo año, creó una chaqueta acolchada de satén blanco única, descrita por Salvador Dalí como "la primera escultura blanda" y que actualmente forma parte de las colecciones del Museo Victoria y Alberto. Esta chaqueta se considera el punto de partida para "anoraks, chaquetas de astronauta e incluso chaquetas de piel".En la década de 1930, también inventó la cinturilla pavloviana que se expande después de comer.

Mientras tanto, cedió licencias de sus diseños de moda a grandes almacenes estadounidenses como Lord & Taylor y Bergdorf Goodman.

James se mudó definitivamente a Nueva York en 1939, donde fundó Charles James, Inc. Al finalizar la Segunda Guerra Mundial, diseñó una línea de ropa para Elizabeth Arden.

En 1947, James presentó una colección en París. Al año siguiente, Millicent Rogers organizó una exposición de los diseños que él creó para ella en el Museo de Brooklyn, titulada «Una década de diseño para la Sra. Millicent H. Rogers por Charles James».También en 1948, Cecil Beaton fotografió ocho de las creaciones de James para la revista Vogue.

A principios de la década de 1950, James pasó la mayor parte del tiempo en Nueva York, en su taller de Madison Avenue. Ganó dos premios Coty, en 1950 y 1954, y un premio Neiman Marcus en 1953. Ese año diseñó el vestido de gala «Trébol de Cuatro Hojas» o «Abstracto» para la periodista Austine Hearst.James lo consideró su mejor creación. Este vestido pesaba nada menos que 5,4 kg y requería una estructura rígida. James se jubiló en 1958.