Jacques Chevallier est né le 15 novembre 1911 à Bordeaux. Son père, Etienne Chevallier était industriel et disposait de domaines en Algérie ; sa mère était née Corinne de la Bédoyère Huchet de Kernion. Il fait ses études dans divers collèges catholiques, dont Notre Dame d’Afrique à Alger, et à la faculté d’Alger où il obtient une licence en droit.
Il se marie le 27 décembre 1932 avec Renée Missé dont il aura cinq garçons et deux filles.
Tout en entamant une carrière dans les affaires, il milite, en 1934, aux Volontaires Nationaux du colonel de la Rocque. Gérant de la Société Civile du Vieux Bordj et directeur d’une entreprise de tonnellerie, il est maire d’El Biar dès 1941, année où le général Weygand le nomme à la commission financière de l’Algérie. Il participe à la Campagne d’Italie, puis devient chef des services de liaison aux Etats-Unis du contre-espionnage français. En 1945, il est élu au conseil général d’Alger, puis, en novembre 1946, à la première assemblée nationale de la IVe République. Il s’oppose au statut de 1’Algérie de 1947 dans les colonnes de l’Echo d’Alger. En 1951, il cède son siège de député pour siéger à l’Assemblée Algérienne où il fait la connaissance d’Abderhamane Farès, l’un de ses présidents. L’année suivante, il devient président de la Caisse Interprofessionnelle d’Allocations Familiales du département d’Alger qu’il avait fondée en 1941. De janvier 1952 à décembre 1955, il est député indépendant d’Alger et de mars 1953 à mai 1958, il en est maire. Il se rapproche des élus musulmans et y a pour adjoint Kiouane, leader du MTLD, qui rejoindra le FLN ultérieurement. Il se rapproche également de Georges Blachette, « roi de l’alfa » et « libéral » qui possède le Journal d’Alger. En tant que maire, féru d’urbanisme, il fait appel en mai 1953 à Fernand Pouillon qui sera l’architecte de trois cités – de plusieurs centaines de logements chacune – destinées à loger ses administrés musulmans : Dar es Saada (la cité du bonheur), Dar el Mahçoul (la cité de la promesse tenue) et Climat de France.
Il est appelé par Pierre Mendès-France, président du conseil, pour assurer la fonction de secrétaire d’état aux Forces Armées, du 19 juin 1954 au 20 janvier 1955, où il a  Antoine Argoud à son cabinet militaire. Il organise en août 1954 une rencontre entre Pierre Mendès-France et François Mitterand, d’une part et Fehrat Abbas et Ahmed Francis, d’autre part. C’est à cette fonction qu’il doit décider des premières mesures à prendre lors du déclenchement de l’insurrection, le 1er novembre 1954. Le 21 janvier 1955, il devient ministre de la Défense Nationale jusqu’au 23 février 1955 (renversement du cabinet Mendès-France le 6 février 1955). Pendant la période où Robert Lacoste est Ministre Résident en Algérie, il entretient des relations avec certains éléments du FLN qu’il protège. Après les manifestations du  13 mai 1958 durant lesquelles son nom est conspué, il est déchargé de son mandat de maire au profit d’une délégation administrative, ce qui l’amène à se retirer de la vie politique et à s’installer à Paris.
Il réapparaît politiquement à Alger à partir de l’automne 1961 pour jouer un rôle de médiateur entre les différentes factions opposées : OAS, Gouvernement de la Ve République et FLN. Au mois de mai 1962, il est l’intermédiaire entre Abderhamane Farès, président de l’Exécutif provisoire mis en place après les accords d’Evian du 18 mars 1962, et l’OAS, représentée par Jean-Jacques Susini après l’arrestation du général Salan. Il joue ce même rôle quand les négociations reprennent en juin entre Susini et Chouki Mostefaï qui semble (à tort) plus sérieusement mandaté par le GPRA. Les accords qui en résultent auront pour unique conséquence l’arrêt des attentats et des destructions des infrastructures par l’OAS sans procurer aucune garantie  aux Européens qui seraient restés en Algérie.
Après l’indépendance de l’Algérie en juillet 1962, Jacques Chevallier reste à Alger ; il jouit de la nationalité algérienne et est vice-président du port autonome d’Alger en 1963 et 1964, vice-président de la chambre de commerce d’Alger de 1963 à 1966 et fondateur de la Société pour l’Aménagement et l’Equipement du Tourisme en Algérie. Ceci ne l’empêche pas d’être dépossédé de tous ses biens et de subir toutes sortes de brimades par le régime de Ben Bella. .
Il meurt d’un cancer à Alger en 1971. Ses obsèques sont célébrées à Notre Dame du Mont Carmel à El Biar en présence du cardinal Duval, archevêque d’Alger.

Jacques Chevallier, auteur d’un ouvrage publié en 1958 chez Calmann-Lévy, intitulé : « Nous, Algériens », était titulaire de la croix de guerre 1939-1945, chevalier de la Légion d’Honneur et commandeur des Palmes Académiques. 

Après les manifestations du 13 mai 1958, le général Salan, qui dispose d’une large délégation du gouvernement Pflimlin pour assurer l’ordre en Algérie, constate que Jacques Chevallier n’a plus le soutien de la population d’Alger et décide le18 mai 1958 de placer, à la tête de la mairie d’Alger, une délégation spéciale ayant à sa tête le préfet Girardot, de Sétif.
Il convoque Jacques Chevallier pour lui notifier sa décision et le prier de rejoindre la métropole
Le 31 août 1961, Jacques Chevallier reçoit une lettre de Raoul Salan, chef de l’OAS, qui lui demande d’user de son influence pour tenter d’empêcher l’Algérie de tomber aux mains du FLN. Il en informe Louis Joxe, ministre des Affaires Algériennes, qui n’obtient pas la caution du général de Gaulle pour une  prise de contact de Jacques Chevallier avec le général Salan.
Cependant, le 31 octobre 1961, une voiture prend Jacques Chevallier à son domicile d’Alger et le conduit à une villa des environs. Le général Salan, chef de l’OAS, dans la clandestinité, le reçoit et lui expose la nécessité absolue d’obtenir un changement de la politique algérienne du gouvernement français qui mène à la catastrophe. Non mandaté, Jacques Chevallier ne peut s’engager à quoi que ce soit. Les entretiens en resteront là.