机器学习中的相似性度量：距离，原来还有这么多类

?

(3)Matlab计算(1,2,3,4 )与( 3,8,7,6 )之间的相关系数与相关距离

X = [1 2 3 4 ; 3 8 7 6]

C = corrcoef( X' ) ??%将返回相关系数矩阵

D = pdist( X,'correlation')

结果：

C=

??? 1.0000???0.4781

??? 0.4781???1.0000

D=

0.5219

其中0.4781就是相关系数，0.5219是相关距离。

11、信息熵(Information Entropy)

信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。

计算给定的样本集X的信息熵的公式：

参数的含义：

n：样本集X的分类数

pi：X中第i类元素出现的概率

信息熵越大表明样本集S分类越分散，信息熵越小则表明样本集X分类越集中。。当S中n个分类出现的概率一样大时（都是1/n），信息熵取最大值log2(n)。当X只有一个分类时，信息熵取最小值0。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!