-
在数据分析、挖掘方面，好书推荐
所属栏目：[大数据] 日期：2021-03-14 热度：160
入门读物： 深入浅出数据分析 (豆瓣)?这书挺简单的，基本的内容都涉及了，说得也比较清楚，最后谈到了R是大加分。难易程度：非常易。 啤酒与尿布 (豆瓣)?通过案例来说事情，而且是最经典的例子。难易程度：非常易。 数据之美 (豆瓣)?一本介绍性的书籍，每[详细]
-
BI Automation Framework
所属栏目：[大数据] 日期：2021-03-14 热度：196
副标题#e# com.oracle.biqa.framework.webdriver.WebAutomation(接口类) Selenium.WebElement.WebElement(String xpath_obj) //获得页面元素 void setObject(String xpath_obj) //设置button void setObject(String xpath_obj,String value) //输入input vo[详细]
-
POJ 1001 Exponentiation(大数幂,还是Java大发好!需调用多个方法
所属栏目：[大数据] 日期：2021-03-14 热度：84
Exponentiation Description Problems involving the computation of exact values of very large magnitude and precision are common. For example,the computation of the national debt is a taxing experience for many computer systems.? This prob[详细]
-
数据标准化与PCA白化原理探索
所属栏目：[大数据] 日期：2021-03-14 热度：133
PCA是实验中很常用的工具，一般用来做降维，它的实现有很多很多种，其中牵涉相当多的细节，笔者在实现PCA时常常有困惑，为什么查到的各种代码总有一些不同的trick，有时候对样本提前归一化？有时候又要减均值？这些操作对于PCA降维效果到底有什么影响？这[详细]
-
R语言绘制文字云
所属栏目：[大数据] 日期：2021-03-14 热度：64
差不多一年没有怎么认真写过博客了，最近要做毕业设计，记录一下有关实验。参考实验楼上一个实验。主要学习使用分词包 Rwordseg 对莎士比亚的名著《仲夏夜之梦》中的内容进行单词频数统计，提取关键词，并进行数据清洗，最后使用包 wordcloud 根据关键词出[详细]
-
K 大数查询
所属栏目：[大数据] 日期：2021-03-14 热度：67
题目大意 有N个集合，初始为空。有M个操作， 修改操作：编号范围在l~r的集合都加入一个数值为a的数， 询问操作：编号范围在l~r的集合数值为第k大的数。 n,m=50000，|a|=n,k 树套树 当然可行，但我不会 考虑离线——整体二分 L，R表示数值的区间，mid=(L+R)[详细]
-
大数 Astar-Round1 Problem B
所属栏目：[大数据] 日期：2021-03-14 热度：68
题目 2016"百度之星" - 资格赛（Astar Round1） http://bestcoder.hdu.edu.cn/contests/contest_showproblem.php?cid=690pid=1002 Problem Description 度熊面前有一个全是由1构成的字符串，被称为全1序列。你可以合并任意相邻的两个1，从而形成一个新的序[详细]
-
R语言数据处理——tidyr包
所属栏目：[大数据] 日期：2021-03-14 热度：169
????在实际进行数据分析的过程中，我们常需要对数据进行一些相应的整理,“ tidyr 包”中的 gather（宽数据转为长数据）、 spread（长数据转为宽数据）、 unit（多列合并为一列）、 separate（将一列分离为多列）这四个函数为我们的数据整理提供了极大的便[详细]
-
推荐系统技术之文本相似性计算（三）
所属栏目：[大数据] 日期：2021-03-12 热度：91
副标题#e# 今天这篇也比较长，但中间有部分是代码，7，8，9最后三节的信息我认为较为有用。前面说了两篇了，推荐系统技术之文本相似性计算（一）和推荐系统技术 --- 文本相似性计算（二）分别介绍了 TFIDF 和向量空间的相关东西，然后介绍了 主题模型 ，这[详细]
-
趣图：论修电脑和当医生的相似性
所属栏目：[大数据] 日期：2021-03-12 热度：93
（点击上方公众号，可快速关注） 既然喝水这么重要，今天来送个福利 ↓↓↓ 据路边社报道，水杯离你越近，喝水的频率将会越高。借今天的趣图，来团一款方便携带的随手水杯。emoi 品牌，环保，外观设计简洁大方，手感也很不错。密封防漏做的好，可随身携带[详细]
-
[生产库实战] 如何合理的使用logmnr进行日志挖掘，并对生产库影
所属栏目：[大数据] 日期：2021-03-12 热度：150
Oracle Logmnr这个工具怎么用这里就不详细说，可以查看官方文档，网上的文档也一大堆，自己找吧。我这里就直接上干货了。 --创建Oracle目录 select * from dba_directories; create directory archivelog_dir as '/archivelog1/temp_archivelog/'; --grant[详细]
-
基因数据处理44之cloud-scale-bwamem安装
所属栏目：[大数据] 日期：2021-03-12 热度：93
cloud-scale-bwamem是在spark等云环境上实现bwa-mem算法，加速对全基因组匹配的处理 1.下载： git clone https://github.com/ytchen0323/cloud-scale-bwamem.git 2.编译： mvn clean package 3.编译成功： [INFO] ---------------------------------------[详细]
-
基因数据处理50之cs-bwamem、bwa、snap、bwa-mem与art比较
所属栏目：[大数据] 日期：2021-03-12 热度：168
副标题#e# 直接看结果： （1）art仿真数据： hadoop@Master:~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem$ cat G38L100c50Nhs20.aln ##ART_Illumina read_length 100@CM art_illumina -ss HS20 -i GRCH38chr1L3556522.fna -l 100 -c 50 -o G38L100c50Nhs20[详细]
-
基因数据处理45之cloud-scale-bwamem安装（compile.pl安装有问题
所属栏目：[大数据] 日期：2021-03-12 热度：191
脚本： hadoop@Master:~/xubo/tools/cloud-scale-bwamem$ cat compile.pl #! /usr/bin/perlsystem "mvn clean package";chdir "./src";system "mvn package -PotherOutputDir";chdir "./main/jni_fpga";system "mvn package -PotherOutputDir";chdir "../a[详细]
-
基因数据处理47之ART基因序列数据生成器（仿真）
所属栏目：[大数据] 日期：2021-03-12 热度：118
1.概念： ART基因序列数据生成器 详细请见论文：【1】 和官网【2】 2.下载： ART-bin-GreatSmokyMountains-04.17.16-Linux64.tgz http://www.niehs.nih.gov/research/resources/assets/docs/artbingreatsmokymountains041716linux64tgz.tgz 3.配置 sudo cp[详细]
-
基因数据处理49之cloud-scale-bwamem运行成功
所属栏目：[大数据] 日期：2021-03-12 热度：68
副标题#e# 1.先使用art生成数据： 请看前一篇 2.上传fastq到hdfs： hadoop@Master:~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem$ spark-submit --class cs.ucla.edu.bwaspark.BWAMEMSpark --master local[2] /home/hadoop/xubo/tools/cloud-scale-bwamem-0.[详细]
-
基因数据处理48之ART使用实例
所属栏目：[大数据] 日期：2021-03-12 热度：65
副标题#e# 相关参数请见上一篇 1.使用实例1： hadoop@Master:~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem$ art_illumina -ss HS20 -i GRCH38chr1L3556522.fna -l 100 -f 20 -o G38L100F20Nhs20 ====================ART==================== ART_Illumina[详细]
-
求0至大数之间的随机数
所属栏目：[大数据] 日期：2021-03-12 热度：96
题目：给定一个String类型的大数(非负整数)，不能直接转化为Integer，类似如下要求 The numbers can be arbitrarily large and are non-negative. Converting the input string to integer is?NOT?allowed. You should?NOT?use internal library such as?B[详细]
-
??攻略｜13招神技 让你在数据科学和数据分析工作中脱颖而出
所属栏目：[大数据] 日期：2021-03-11 热度：170
副标题#e# 简介：我有幸在很早参与了一个大数据科学项目，我非常喜欢其中的工作，甚至我意识到我的努力可以增加一些公司的价值。 然而，可悲的是，只有不到30%的数据科学项目最终实施了。我备受打击的意识到我的努力被浪费了。但是，我不是唯一的一个。几乎[详细]
-
基因数据处理46之cloud-scale-bwamem安装（compile.pl安装没问题
所属栏目：[大数据] 日期：2021-03-11 热度：52
版本：https://github.com/ytchen0323/cloud-scale-bwamem/releases/tag/v0.2.1 1.需要设置spark路径： !--systemPath/cluster/spark/spark-1.3.1-bin-hadoop2.4/lib/spark-assembly-1.3.1-hadoop2.4.0.jar/systemPath -- systemPath/home/hadoop/cloud/sp[详细]
-
基因数据处理51之cs-bwamem集群版运行*
所属栏目：[大数据] 日期：2021-03-11 热度：137
将master的local改为集群就可以了。 集群运行结果： 问题： 匹配50条的时候，bwa和snap都是生成50条。但是cs-bwamem会生成492条，其中25和50条重读的很多，匹配位置不同。不知道为啥？ 记录： D:1win7javajdkbinjava -Didea.launcher.port=7538 "-Did[详细]
-
![《剑指offer》:[16]打印1到最大的N位数](/uploads/allimg/c210311/16154323Z14b0-153G.gif)
《剑指offer》:[16]打印1到最大的N位数
所属栏目：[大数据] 日期：2021-03-11 热度：82
题目：输入数字N，按顺序打印从1到最大的n位十进制数。比如输入3，则打印出1、2、3一直到最大的三位数即：999. 乍一看这个题目很简单，我们很快就会写出下面的代码： void onetoN(int n){int number=1;for(int i=0;in;i++){number*=10;}for(int i=1;inumbe[详细]
-
基因数据处理52之cs-bwamem集群版运行（1千万条100bp的reads）
所属栏目：[大数据] 日期：2021-03-11 热度：155
副标题#e# 1.art生成模拟序列： art_illumina -ss HS20 -i GRCH38BWAindex/GRCH38chr1L3556522.fna -l 100 -c 10000000 -o g38L100c10000000Nhs20 2.上传到hdfs，制定partition数 spark-submit --class cs.ucla.edu.bwaspark.BWAMEMSpark --master spark://[详细]
-
NDK开发 - JNI数组数据处理
所属栏目：[大数据] 日期：2021-03-11 热度：178
副标题#e# 很多时候利用 NDK 开发都是为了对数据进行加密操作，因为单纯的 Java 太容易被反编译了，加密算法也就很容易被破解，而利用 C/C++ 开发可以加大破解难度。文件的数据加密就需要通过 byte 数组传给 JNI。 传送门：NDK开发 - JNI数组数据处理 JNI[详细]
-
利用BI搭建零售业数据信息平台
所属栏目：[大数据] 日期：2021-03-11 热度：112
某百货公司是全市规模最大的以零售为主、多元化经营的股份制商业企业。拥有员工数千人，经营国内外品牌2300余种，年商品销售额逾10亿人元。 销售体量如此庞大的企业近几年在IT建设上出现了问题，集团内部的信息化数据有些跟不上业务扩张的步伐。虽然该集团[详细]
