-
『Data Science』R语言学习笔记，基础语法
所属栏目：[大数据] 日期：2021-02-26 热度：81
Data Types Data Object Vector x - c(0.5,0.6) ## numericx - c(TRUE,FALSE) ## logicalx - c(T,F) ## logicalx - c("a","b","c") ## characterx - 9:29 ## integerx - c(1+0i,2+4i) ## complexx - vector("numeric",length = 10) ## create a numeric vect[详细]
-
图解机顶盒数据处理流程
所属栏目：[大数据] 日期：2021-02-26 热度：84
1. 前端数据的打包、调制 与 广播 前端系统负责将电视节目的音视频数据，数字电视业务信息的各种表 按照 数字电视业务信息规范，打包成 ts 流，然后进行调制，再通过cable线，卫星，地面直播信号塔这些物理信道进行广播。 两层复用：多个电视节目通过? 时分[详细]
-
深度解析 Twitter Heron 大数据实时分析系统
所属栏目：[大数据] 日期：2021-02-26 热度：69
2015年6月1号， Twitter 对外宣讲了他们的Heron系统， 从ppt和论文中，看起来完爆storm。昨天，抽空把论文，仔细读了一遍， 把个人笔记和心得分享一下： 摘要： Heron更适合超大规模的机器， 超过1000台机器以上的集群。 在稳定性上有更优异的表现， 在性能[详细]
-
81个开源大数据处理工具汇总（下），包括日志收集系统/集群管理/
所属栏目：[大数据] 日期：2021-02-26 热度：117
上一部分：http://my.oschina.net/u/2391658/blog/711016 第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 ? 日志收集系统 一、Facebook?Scribe 贡献者 ：Faceb[详细]
-
81个开源大数据处理工具汇总（上），包括查询引擎/流式计算/存储
所属栏目：[大数据] 日期：2021-02-26 热度：138
本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache H[详细]
-
文本挖掘的基本流程
所属栏目：[大数据] 日期：2021-02-26 热度：116
一、获取文本 ??我们获取网络文本，主要是获取网页HTML的形式。我们要把网络中的文本获取文本数据库(数据集)。编写爬虫（Spider）程序,抓取到网络中的信息。可以用广度优先和深度优先；根据用户的需求，爬虫可以有垂直爬虫和通用爬虫之分，垂直爬取主要是在[详细]
-
Mondrian 4 测试的简单demo（Saiku简单测试Schema文件）
所属栏目：[大数据] 日期：2021-02-26 热度：86
##?整理此文章方便大家做测试（手写Mondrian?Schema自测），不必每次都向saiku上传文件了 ##?关键文件 *?foodmart4.xml??测试对应的schema文件 *?foodmart-sql.zip????测试对应的数据库脚本 maven项目： pom文件 project?xmlns=" http://maven.apache.org/PO[详细]
-
EMC存储上的大数据 – 大数据分析实施路线
所属栏目：[大数据] 日期：2021-02-26 热度：170
? ? ?企业一直在处理快速增长的数据量（也称为大数据）的存储和管理问题。本文为系列的第十篇，介绍了发现适当的大数据业务机会并制定利用该机会的全面路线图。 ? ???? 大数据时代，各公司都在努力挖掘有关他们业务的令人信服的见解，以赢得竞争优势。他们在[详细]
-
O2O产品质量保障体系（四）| 基于学习的线下商户质量挖掘
所属栏目：[大数据] 日期：2021-02-26 热度：147
一、 线下商户问题迫在眉睫 糯米不仅仅是团购，它是O2O的生活服务平台，糯米的产品质量可以定义为线上和线下，线上主要是在线商品的售卖情况，所对应的质量问题也就是商品类的badcase，这些会直接影响我们的流水。而线下主要是商家服务的接待质量，会直接影[详细]
-
算法提高 大数加法
所属栏目：[大数据] 日期：2021-01-02 热度：153
问题描述 输入两个正整数a,b，输出a+b的值。 输入格式 两行，第一行a，第二行b。a和b的长度均小于1000位。 输出格式 一行，a+b的值。 样例输入 4 2 样例输出 6 #includestdio.h#includestring.hvoid fun(int n,int sum[]){int temp,i;for(i=0;in;i++){temp=s[详细]
-
[bigdata-031] python3+selenium 做抓取
所属栏目：[大数据] 日期：2021-01-02 热度：140
1. 安装 1.1 pip3 install -U selenium 1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩，然后放到/usr/bin目录 2. 抓取豆瓣 #!/usr/bin/env python3#!-*- coding:utf-8 -*-import[详细]
-
logminer挖掘
所属栏目：[大数据] 日期：2021-01-02 热度：141
1.???? Logminer介绍 LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具，使用该工具可以轻松获得Oracle 重做日志文件（归档日志文件）中的具体内容，LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图组成，它作为Oracle数据库的一[详细]
-
[bigdata-005] 用docker搭建oracle 11g并提供python3 开发
所属栏目：[大数据] 日期：2021-01-02 热度：108
参考资料 http://www.bubuko.com/infodetail-401514.html 1. docker上的oracle 11g https://hub.docker.com/r/alexeiled/docker-oracle-xe-11g/ 安装和启动命令： 1.1 docker pull alexeiled/docker-oracle-xe-11g 1.2 docker run --name dck-oracle-11g -d[详细]
-
[bigdata-006] 工作流 tez和oozie
所属栏目：[大数据] 日期：2021-01-02 热度：116
1.? 基本状况 Tez是Hortonworks开发的。 董西成的分析 http://dongxicheng.org/mapreduce-nextgen/apache-tez/ http://zh.hortonworks.com/blog/introducing-tez-faster-hadoop-processing/ tez运行在Yarn上的，DAG工作流，底层设计，对Map和Reduce进一步拆[详细]
-
HDoj1047Integer Inquiry(大数连续相加)
所属栏目：[大数据] 日期：2021-01-02 热度：67
Integer Inquiry Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 19438????Accepted Submission(s): 5087 Problem Description One of the first users of BIT's new supercomputer was Chip D[详细]
-
读取csv数据并保存成图像
所属栏目：[大数据] 日期：2021-01-02 热度：189
int main(int argc,char* argv[]){ifstream file("******.csv");string value;int i = 0;int j = 0;while (file.good()){getline(file,value,'n');//cout string(value,value.length()) endl;if (i 0){value.erase(0,2);value.erase(value.length() - 9);//[详细]
-
几种大数阶乘算法效率比较（Java）
所属栏目：[大数据] 日期：2021-01-02 热度：74
完整代码： package bigdatamul; import java.math.BigInteger; /** * 大数阶乘 * * @Description : TODO(大数阶乘) * * @author yzy * @date 2016-12-20 上午9:31:14 * */ public class Test { public static void main (String[] args) { //单位：ms //fun[详细]
-
报告一：知识工程与大数据分析
所属栏目：[大数据] 日期：2021-01-02 热度：99
报告一：知识工程与大数据分析 报告人：漆桂林博士，东南大学教授 主要内容：知识工程是人工智能的重要分支之一，知识的获取和基于知识的推理能力是人类高级智能的体现。知识工程涉及到机器学习、知识表示与推理、自然语言处理和数据存储等技术。本报告将介[详细]
-
数据处理之one-hot
所属栏目：[大数据] 日期：2021-01-01 热度：189
分类方法，通常需要把数据的各个属性转换为一个向量表示，这样每条数据的特征就是一个向量，向量上的每个维度就表示了一个特征属性。 但是如果要转换的数据包含了3种属性，比如身高，体重，年龄。A是女，168cm，70kg，30岁；B是男，180cm，90kg,20岁，那么直[详细]
-
米斯特白帽培训讲义 挖掘篇 厂商寻找
所属栏目：[大数据] 日期：2021-01-01 热度：87
米斯特白帽培训讲义 挖掘篇 厂商寻找 讲师：gh0stkey 整理：飞龙 协议：CC BY-NC-SA 4.0 厂商是什么 厂商可以是一个网站（Web 应用），或者一段程序（PC、移动应用）。从白帽子的角度来说，两个都是厂商，都可以挖掘。 基于漏洞平台的寻找 现在国内有三大漏[详细]
-
七牛数据处理再添新兵——图片瘦身
所属栏目：[大数据] 日期：2021-01-01 热度：100
我们现在已经很难想象，图片的出现，竟然只是作为分割文字和缓解疲劳的工具。 随着智能手机的普及，以及像 in、nice 这样以分享图片为主的应用的流行，人们记录生活、分享感悟的方式不再局限于文字，而是逐渐被拍照取代，拍照也不需要那么刻意为之。 无疑，[详细]
-
[bigdata-007] Hortonworks HDF搭建流程
所属栏目：[大数据] 日期：2021-01-01 热度：146
1. hdf docker搭建 1.1 hdf的镜像xemuliam/hdf 镜像链接 https://hub.docker.com/r/xemuliam/hdf/ 下载镜像： docker pull xemuliam/hdf 1.2 创建容器 docker run --name dck-hdf-8080 -p 8080:8080 -d xemuliam/hdf 1.3 进入容器bash交互 docker exec -it d[详细]
-
BI工具选型指标，如何选择好的BI工具
所属栏目：[大数据] 日期：2021-01-01 热度：92
随着信息化的发展，越来越多的企业将商业智能 BI 的部署列入了企业信息化建设的下期目标， BI 市场需求的日益旺盛，也催生了 BI 厂商激烈的市场竞争，带动了国内 BI 工具技术的发展及成熟。 那么作为一个正在或者即将要进行 BI 工具选型的企业，面对百花齐放[详细]
-
如何正确理解商业智能（BI）？
所属栏目：[大数据] 日期：2021-01-01 热度：164
为了让读者更加清晰地把BI与MIS系统区别开来，本文讨论了BI与DSS（决策支持系统）、EIS（经理执行系统）的主要区别。最后，本文分析了制约BI健康发展的若干因素。 引言 ??? 商业智能（BI）是目前在国外企业界和软件开发界受到广泛关注的一个研究方向。可以用[详细]
-
BI选型流程建议
所属栏目：[大数据] 日期：2021-01-01 热度：143
一、成立选型小组 ? ? ? ? 成立选型小组是企业确定进行软件选型所需要做的第一步。选型小组将负责整个软件选型过程的执行。选型小组成员至少包括公司副总以上领导一名、 CIO 一名、业务负责人一名。 二、评估需求 ? ? ? ? 评估需求是指企业成立 BI 选型小组[详细]
