胡说八道的来历是历史传说。胡说八道中的“胡说”一词与古代的“胡人”有直接关系。我国自秦汉时起，就把北方边地和西域各民族称为“胡人”，后来这种称呼也扩大到外国人。东晋之后，居住在我国北部、西部的少数民族如匈奴、鲜卑、羯、羌、氐等民族，看当时的统治者昏庸无能，逐渐进入中原地区，并建立了自己的。由于当时他们的文化比较落后，加之风俗习惯也不致，所以说话办事迥异于汉民族所尊奉的孔孟之道，不讲究老一套礼法典制，也没有中原人的规矩，尤其是对于他们直言无忌的讲话十分反感，称其为“胡说”。

所谓“八道”，即八正道，又称八圣道。为佛教三十七道品中的一类。佛家有涅槃之说，即全部修习所要达到的最高理想，可以达到死后重生的境界。它主要论述通向涅槃的八种正确方法和途径。

胡说八道原指胡人到内地讲解佛经八正道，而听不懂佛法，又看不懂佛文和不信佛的人认为，胡人讲解佛经是说荒诞之言。归纳起来就是胡人讲解佛经八正道简作胡说八道。故后世以“胡说”、“胡说八道”，“一派胡言”等词语喻不可信。