这是一个好问题啊。
虽然我不太清楚如何能解答你的疑惑,但这让我想到了频率学派与贝叶斯学派的分歧,也许对你有帮助。(当然,随着数学的不断发展,双方不断修缮理论使其更完整,在此过程中也引入了部分对方学派的概念就是了。)
首先说频率学派。频率学派认为,事件的概率是事件在无限次重复实验中发生的频率的极限。
例如,对于抛一枚硬币,频率学派会认为,存在一个固有的、未知的参数θ,刻画了硬币本身固有的、客观的正面朝上的概率。而频率学派的任务是,通过不断实验,来估计这个参数θ。当他们说“硬币正面向上的概率是0.5”,他们实际上的意思是“如果我做无限次抛硬币的实验,那么大约一半的次数会是正面向上”。
贝叶斯学派则不同。贝叶斯学派认为,概率是一个人对某事件会发生或某命题为真的确信程度,是主观的。这种“确信程度”是基于已有信息的,并且在增加新的信息时(例如多做了一次实验),它会随之更新。
同样是抛硬币的例子,假设没有任何先入为主的经验,我们可以认为“这个硬币正面朝上是任何概率都有可能”,先验分布为Beta(1,1)。然后抛掷它,例如得到了7次正面3次反面。这时信念更新了,我们认为它正面朝上的概率可能在0.7附近,但不太确定,这时后验分布为Beta(8,4)。继续做实验,信念还会继续更新,不确定性会越来越小,也就是信念越来越坚定。
事实上,贝叶斯学派是更符合人的经验的。就像你所说的,频率学派“没有真正证明频率会趋于概率”,他们甚至没有证明确实有这么个客观的、固有的“概率”存在,只是强行将频率的极限定义为了概率而已。这时候从贝叶斯学派的视角,也许就会好接受一点。
当然,这两者在现代数学/统计学的框架下都很重要,不能说一方对而另一方错就是了。