提供一个掰开揉碎的解读。
首先，显著性水平（α）是显著性水平，p值是p值，二者不要混淆。题目描述中对显著性水平的定义和理解是有误的。
p值本质上是连续的概率值，准确来说是「零假设成立的条件下获得当前结果的概率」，并且结果是什么样p值就是什么样，无法人为改变。比如，我们假定有一枚普通硬币，然后闲着没事连续抛一万次，结果都是正面朝上——这个可能性是可以精确计算出来的，小到近乎于0（unbelievable!），说明我们默认的假定（零假设）不对劲，硬币有蹊跷。
显著性水平α则是「人为任意规定的某个值」，比如α = 0.05，用来「武断切分」p值进而获得「是否显著」的简单二分判断。这属于二极管思维，本身并不严谨，也没有什么金标准。不过0.05已经是最宽松的标准了，前几年也有学者建议改到0.005。但无论如何，α都是主观的，p才是客观的，论文应报告精确p值，而不是“p < .05”。
至于为什么α叫significance level（显著/性/水平），其他回答只是浅尝辄止，这个回答把它掰开揉碎来理解：
更多探讨请见我的其他回答：
供题主 @Zarathustra 参考。
