1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。 两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 traffic: 62 文章： article/11325 ...
分类：
数据库技术 时间：
2019-11-13 21:12:36
收藏：
0 评论：
0 赞：
0 阅读：
127
MySQL存储引擎概述 一、mysql存储引擎概述 1.1 什么是存储引擎？ MySQL中的数据用各种不同的技术存储在文件（或者内存）中。这些技术中的每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。通过选择不同的技术，你能够获得额外的速度或者功能，从而改善你的应 ...
分类：
数据库技术 时间：
2019-11-13 21:10:24
收藏：
0 评论：
0 赞：
0 阅读：
69
PLSQL编程 一、变量 1. 声名变量 2. 变量赋值 2.1 直接赋值 2.2 语句赋值，使用select...into...赋值 3. 引用型变量 变量的类型和长度取决于表中字段的类型和长度 通过表明.字段名%TYPE指定变量的类型和长度，例如：v_name emp.name%TYPE; 4. ...
分类：
数据库技术 时间：
2019-11-13 21:08:47
收藏：
0 评论：
0 赞：
0 阅读：
102
MySQL分组排序（取第一或最后） 方法一：速度非常慢，跑了30分钟 SELECT custid, apply_date, rejectrule FROM ( SELECT *, IF ( @pkey <> custid, @rank := 1, @rank := @rank + 1 ) AS ra ...
分类：
数据库技术 时间：
2019-11-13 20:24:42
收藏：
0 评论：
0 赞：
0 阅读：
398
达梦数据库的参数文件dm.ini文件参数有三种类型readonly数据库运行的时候，参数不能修改syssession动态参数，修改参数文件和内存Infile静态参数只能修改参数文件，重启数据库实例才生效查询参数文件的类型SQL>selectpara_name,para_value,para_typefromv$dm_ini;这里我们需要需要达梦兼容oracle0:不兼容,1:兼容SQL92标
分类：
数据库技术 时间：
2019-11-13 19:11:47
收藏：
0 评论：
0 赞：
0 阅读：
413
索引数据结构： 目前大部分数据库系统及文件系统都采用B Tree或者B+Tree作为索引结构 B树：每个节点存储m/2到M个关键字，非叶子节点储存指向关键字范围的子节点的指针或者某节点详细数据；所有关键字在整棵树中出现，且只出现一次，非叶子节点可以命中。 B+树：在B+树的基础上，为叶子节点增加链表 ...
分类：
数据库技术 时间：
2019-11-13 19:01:04
收藏：
0 评论：
0 赞：
0 阅读：
86
Python3操作MySQL基于PyMySQL封装的类 在未使用操作数据库的框架开发项目的时候，我们需要自己处理数据库连接问题，今天在做一个Python的演示项目，写一个操作MySQL数据库的类，基于PyMySQL库在Python3上实现。在写业务逻辑代码的时候，可以方便很多，时间关系，没有写太完善 ...
分类：
数据库技术 时间：
2019-11-13 18:58:36
收藏：
0 评论：
0 赞：
0 阅读：
145
一：环境的准备 本人用VMwareWorkstation虚拟机进行安装部署，准备镜像文件中标麒麟.iso 二：Neokylin Linux server 6.0上安装DM7企业版数据库 1.准备DM7安装包 dm7_setup_rh6_64_ent_7.6.0.142_20190312.iso 2. ...
分类：
数据库技术 时间：
2019-11-13 18:49:24
收藏：
0 评论：
0 赞：
0 阅读：
286
关键词：IF --if 判断，如果 device_num 的值为1，则赋值为100，反之为200 SELECT district, shop_name, IF ( device_num = 1, 100, 200 ) AS device_num FROM `t_life_shop` ...
分类：
数据库技术 时间：
2019-11-13 18:46:29
收藏：
0 评论：
0 赞：
0 阅读：
164
公司领导说要跟一个医院对接数据库，我这就去了解了SQL Server 2008 r2，其实上学的时候学过，不过学的是一些基本操作。这次试一试用Qt远程连接。 翻了2天，终于可以用qt上位机连接同局域网下的另一台电脑内的数据库。把过程做个博客记录一下。 第一步肯定就是安装SQL Server 2008 ...
分类：
数据库技术 时间：
2019-11-13 18:43:44
收藏：
0 评论：
0 赞：
0 阅读：
144
现象 C:\Users\Administrator>sqlplus scott/tiger@192.168.1.11:1521/orcl SQL*Plus: Release 11.2.0.4.0 Production on Wed Nov 13 17:53:59 2019 Copyright (c) ...
分类：
数据库技术 时间：
2019-11-13 18:24:08
收藏：
0 评论：
0 赞：
0 阅读：
194
1、数据库的发展史：①最开始是一个sql语句就访问一次数据库，这样使得我们的数据库负载很大。 ②为了避免数据库负载过大，使用了缓存技术cache，在dao和db之间加上一层缓存， 将我们常用的数据查询一次后都放入到缓存中。(主要针对于查询) ③随着时代的发展，数据库的写的压力变大了，出现了瓶颈，使用 ...
分类：
数据库技术 时间：
2019-11-13 18:15:08
收藏：
0 评论：
0 赞：
0 阅读：
98
首先建一张表 create table picture( picId char(6) primary key not null, picName nvarchar(20) not null, picfile image null ) insert操作 //存入一张图片 static public v ...
分类：
数据库技术 时间：
2019-11-13 17:39:18
收藏：
0 评论：
0 赞：
0 阅读：
155
在平时的工作中，我们经常接触到 和`用户 角色 数据库表空间 模式`（Schema），所以我们往往忽略了数据库表空间和模式的概念以及作用。 接下来，先介绍一下模式和表空间的定义以及作用。 什么是Schema？ 一个数据库包含一个或多个已命名的模式，模式又包含表。模式还可以包含其它对象， 包括数据 、 ...
分类：
数据库技术 时间：
2019-11-13 17:39:01
收藏：
0 评论：
0 赞：
0 阅读：
93
Sqoop工具 1..协助RDBMS与Hadoop之间进行高效的大数据交流 把关系型数据库的数据导入Hadoop与其相关的系统（HBASE,HIVE） 同时也可以把数据从Hadoop系统抽取并导出到关系型数据库中。 Sqoop中一大亮点是可以通过Hadoop的mapreduce把数据从关系型数据库中 ...
分类：
数据库技术 时间：
2019-11-13 17:26:59
收藏：
0 评论：
0 赞：
0 阅读：
152
1.日志监控三个经典状态参数 2.计算数据库检索数据命中率 3.计算内存读的趋势 4.调整mysql数据库的读写线程数量 是否进行调整我们要结合数据库读写性能，如果数据库在系统最繁忙的时候读写线程还有空闲等待的，那么我们就不需要进行调整，通过下面读写线程的状态，我们就看出数据库的读写线程的数量不需要 ...
分类：
数据库技术 时间：
2019-11-13 17:26:20
收藏：
0 评论：
0 赞：
0 阅读：
88
1. 主从服务器安装配置mysql # sudo mysql -u root -p mysql> grant all on *.* to root@'%' identified by '你的密码' with grant option; (*.*表示所有数据库，也可以指定数据库；root表示创建的用户 ...
分类：
数据库技术 时间：
2019-11-13 17:19:18
收藏：
0 评论：
0 赞：
0 阅读：
91
1.使用命令 # service mysqld status 命令来查看mysql 的启动状态如图所示： mysqld is stopped 那就说明mysql服务是停止状态，如果是 mysqld is running 那就说明mysql服务是启动状态 2.使用命令chkconfig --list ...
分类：
数据库技术 时间：
2019-11-13 17:17:39
收藏：
0 评论：
0 赞：
0 阅读：
108
[TOC] docker 执行 等待很漫长。如果报错：Cannot set property TasksAccounting, or unknown property 安装java cp jdk .tar.gz到容器中，解压 vi /etc/profile source /etc/profile j ...
分类：
数据库技术 时间：
2019-11-13 17:02:52
收藏：
0 评论：
0 赞：
0 阅读：
82
第一步，准备好要传入linux的文件 第二步，进行传输 首先你的下载linux远程连接工具，xshell然后进行配置，连接linux数据库，在下载xftp进行文件传输 安装mysql5.7 https://blog.csdn.net/qq_31748587/article/details/94665 ...
分类：
数据库技术 时间：
2019-11-13 16:45:47
收藏：
0 评论：
0 赞：
0 阅读：
88
