最小描述长度原则是将奥卡姆剃刀形式化后的一种结果。其想法是,在给予假说的集合的情况下,能产生最多资料压缩效果的那个假说是最好的。它是在1978年由Jorma Rissanen所引入的。在信息论和计算机学习理论中,最小描述长度原则是个重要观念。 任一资料集都可以由一有限(譬如说,二进制制的)字母集内符号所成的字串来表示。"最小描述长度原则背后的基本想法是:在任一给定的资料集内的任何规律性都可用来压缩。亦即在描述资料时,与逐字逐句来描述资料的方式相比,能使用比所需还少的符号"(Grünwald, 1998。见底下的链结)。既然我们希望选取到的假说能抓到资料中最多的规律,于是我们则寻找压缩效果最佳的假说。