大数据平台架构/数据分析/用户画像

0717-0718

这两天把李智慧的大数据中台课程稍仔细的浏览了一遍，时长5个小时。—70元

大数据技术的科普课程，平台架构到应用。

hadoop体系，hdsf文件存储，sqoop/flum导入的存储中（看过没印象，不懂），spark处理历史数据/flink处理实时数据，有对应的sql代码编辑窗口。yarn负责资源的调度（看过没印象，不懂）。

了解了大数据发展的历史，谷歌/淘宝/阿里/英特尔的几个案例故事。

能看懂的是数据分析那一块内容，理解了几个算法，KNN分类算法（k近邻），特征向量求距离，近的当一块。贝叶斯分类，条件概率计算公式，由大数据得到相关参数，计算某条件概率大数据架构图，达到一定值后放一块。

关联算法有Apriori算法/聚类K-means算法，第一个通过包含关系打分，最后又加类一个权重系数，通过这个模型进行网页检索排名。第二个给了几个点，离这几个点最近的几个点算均值，得出新的k点，知道k点不在变化，离k点最近的点为一个聚类。

预测用户喜好/精准推销的逻辑：

人口统计推荐，由A喜欢商品a，A和B为同一类人（通过基础数据判断，年龄/职业/地区，误差较大），将商品a推荐给B。

商品属性推荐，A喜欢商品a，商品b和商品a为同一属性，将商品b推荐给A。

用户协同过滤，A喜欢商品abc，B喜欢商品ab，认为A和B为一类人，将c推给B。

商品协同过滤，用户A喜欢商品abd，用户B喜欢商品cbd，可认为bd为一类商品，用户C喜欢b，将d推给C。

机器学习，样本/模型/算法，由样本数据代入模型中运算，求解结构风险最小值。偏微分求最优解。

神经网络算法的结果不可解释，参数输入经N层感知机后输出结果。sign/sigmoid函数，梯度降解。

拿到数据后研究相关的算法！

用户画像—3880元

这周的四节课听完，标签体系，分群体/打标签，历时三个月，这周的课感觉没什么好学的。

（编辑：航空爱好网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!