L'histoire se passe des milliers d'années avant l’avènement de la civilisation moderne, durant l'âge hyborien. Le film commence avec la citation de Friedrich Nietzsche, « Ce qui ne nous tue pas nous rend plus fort »N 2. S'ensuit une narration qui établit que l’histoire raconte les origines de Conan, un jeune barbare.
Peu après que son père lui a révélé le « secret de l'acier » et de l'importance de celui-ci pour le peuple cimmérien, lors de la fabrication d'une magnifique épée, la famille de Conan est massacrée avec tout son village ; l'épée est prise par le vainqueur, qui a détruit le village pour le piller. Les enfants sont vendus comme esclaves et Conan est enchaîné des années durant à une énorme roue. Il reste le dernier survivant et arrive à la mouvoir seul grâce à la force nettement au-dessus de la moyenne que lui a conférée cet exercice. Acheté par un maître de gladiateurs, Conan remporte combat sur combat, d'abord grâce à sa seule force, ensuite grâce à une instruction au maniement des armes. Libéré, il sauve un voleur, Subotaï, et parcourt le monde avec lui en rêvant de vengeance.
Tous deux rencontrent Valéria, une aventurière, et le trio pille la tour sacrée d'une secte mystérieuse après avoir tué le serpent géant gardien des lieux. Conan découvre alors que Thulsa Doom, le maître de la secte, n'est autre que celui qui a détruit son village. Doom a entraîné dans son sillage la fille du roi Osric, lequel promet au trio une forte récompense s'ils la lui ramènent. Valéria et Subotaï proposent de garder l'argent donné par Osric et de s'enfuir mais Conan fait passer son désir de vengeance avant tout : renonçant à l'amour de Valéria et à l'amitié de Subotaï, il les quitte pour rechercher Doom. Conan parvient bien jusqu'à son temple, la montagne du pouvoir, mais ne réussit qu'à se faire capturer et crucifier sur « l'arbre du malheur », non sans que Doom lui ait auparavant expliqué que le pouvoir sur la chair est plus important que le pouvoir sur l'acier.
Conan est retrouvé à moitié mort par Subotaï et Valéria, et celle-ci, avec l'aide d'un sorcier (narrateur du film en voix off), réussit à le ramener dans le monde des vivants en combattant les esprits qui veulent l'emporter au royaume des morts. Cependant, le sorcier prévient Valéria qu'il y aura un prix à payer aux esprits pour cela, ce que Valéria accepte par amour pour Conan. Conan se laisse convaincre par ses amis de récupérer d'abord la princesse et de se venger plus tard. De fait, pénétrant dans le palais souterrain de Doom pendant une orgie cannibale, ils parviennent à enlever la princesse (malgré elle) mais Valéria est mortellement blessée par une flèche empoisonnée tirée par Doom et meurt dans les bras de Conan.
Utilisant la princesse comme appât, Conan, Subotaï et le sorcier préparent une embuscade où toute la garde de Doom est exterminée, y compris ses deux principaux lieutenants, Rexor et Thorgrim, qui avaient participé à la destruction du village. Au cours de ce combat, Valéria revient brièvement de l'au-delà sous la forme d'une valkyrie pour sauver Conan d'un coup mortel de Rexor. Conan récupère l'épée de son père, brisée dans la bataille. Guidé par la princesse, désormais libérée de l'emprise de Doom, Conan revient au temple de Doom, échappe de peu à son pouvoir hypnotique et le décapite en présence de toute la secte, laquelle se dissout aussitôt. Conan incendie le temple et repart avec la princesse.
