Erlo
· 聊一聊Redis热点key存储问题

来源:开源中国 2022-05-17 9

· Redis 的数据过期了就会马上删除么?

来源:开源中国 2022-05-16 14 1

· centos换源+安装postgresql

镜像下载、域名解析、时间同步请点击阿里云开源镜像站centos换源+安装postgresqlhttp://mirror.nsc.liu.se/centos-store/8.2.2004/isos/x86_64/ 镜像安装网站https://mirrors.edge.kernel.org/pub/...

来源:博客园 2022-05-16 10

· MySQL-Seconds_behind_master的精度误差

前言Seconds_behind_master是我们观察主从延迟的一个重要指标。但任何指标所能表示的精度都是有限的。例如用精度只能到秒的指标去衡量毫秒级的表现就会产生非常大的误差。如果再以此误差去分析问题,就会让思维走上弯路。例如用Seconds_behind_master去评估1s内的主从延迟就...

来源:开源中国 2022-05-13 25

· 码农必备SQL调优(上)

目录Query执行流程SQL执行计划介绍SQL执行计划概述详解 调优流程 更新统计信息审视和修改表定义审视和修改表定义概述选择存储模型使用局部聚簇使用分区表选择数据类型典型SQL调优点SQL自诊断子查询调优统计信息调优算子级调优经验总结:SQL语句改写规则SQL调优...

来源:开源中国 2022-05-13 21

· 分布式锁实现原理解析(Redis & WLock)

1单机锁1.Java原生锁在Java中每个对象都有一把锁,如普通的Object对象及类的Class对象。线程可以使用synchronized关键字来获取对象上的锁。synchronized关键字可以应用在方法级别(粗粒度)或代码块级别(细粒度),在J...

来源:开源中国 2022-05-11 19

· centos换源+离线安装postgresql

centos换源+安装postgresqlhttp://mirror.nsc.liu.se/centos-store/8.2.2004/isos/x86_64/镜像安装网站https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.24....

来源:博客园 2022-05-07 31

· sqlx操作MySQL实战及其原理

sqlx是Golang中的一个知名三方库,其为Go标准库database/sql提供了一组扩展支持。使用它可以方便的在数据行与Golang的结构体、映射和切片之间进行转换,从这个角度可以说它是一个ORM框架;它还封装了一系列地常用SQL操作方法,让我们用起来更爽。sqlx实战这里以操作MySQL...

来源:开源中国 2022-05-06 45

· 为什么不建议给MySQL设置Null值?《死磕MySQL系列 十八》

大家好,我是咔咔不期速成,日拱一卒之前ElasticSearch系列文章中提到了如何处理空值,若为Null则会直接报错,因为在ElasticSearch中当字段值为null时、空数组、null值数组时,会将其视为该字段没有值,最终还是需要使用exists或者null_value来处理空值大多数E...

来源:开源中国 2022-05-06 27

· 使用gsql连接数据库

目录注意事项前提条件本地连接数据库密态数据库连接操作远程连接数据库gsql是openGauss提供的在命令行下运行的数据库连接工具。此工具除了具备操作数据库的基本功能,还提供了若干高级特性,便于用户使用。本节只介绍如何使用gsql连接数据库,关于gsql使用方法的更多信息请参考《工具...

来源:开源中国 2022-05-06 37

· BSL:MySQL 之父关于兼顾开源与活下去的解法

2008年,MySQL创始人Monty所创办的开源创企——MySQLAB以10亿美元的价格,卖给了SUN公司。对SUN日益不满的 Monty很快出走,在SUN被甲骨文收购之际,Fork了MySQL,发布MariaDB项目。之后,Monty创立的MontyProgram公司与SkySQL合并后成立Ma...

来源:开源中国 2022-05-06 31

· Redis 内存优化在 vivo 的探索与实践

作者:vivo互联网服务器团队-TangWenjian一、背景使用过Redis的同学应该都知道,它基于键值对(key-value)的内存数据库,所有数据存放在内存中,内存在Redis中扮演一个核心角色,所有的操作都是围绕它进行。我们在实际维护过程中经常会被问到如下问题,比如数据怎么存储在R...

来源:开源中国 2022-05-05 29

· Redis安装教程(超详细)

镜像下载、域名解析、时间同步请点击阿里云开源镜像站Redis一、Redis安装1、windows下安装默认端口:6379下载连接https://github.com/tporadowski/redis/releases解压双击redis-server.exe启动服务端双击redis-...

来源:博客园 2022-05-05 24

· CentOS7 安装MYSQL5.7

CentOS7安装MYSQL5.7[详细过程]YUM安装1.从mysql官网获取yum仓库[root@stonetmp]#wget'https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm'2.安装yu...

来源:博客园 2022-05-01 50

· 开发一个不需要重写成Hive QL的大数据SQL引擎

摘要:开发一款能支持标准数据库SQL的大数据仓库引擎,让那些在Oracle上运行良好的SQL可以直接运行在Hadoop上,而不需要重写成HiveQL。本文分享自华为云社区《​​​​​​​从零开发大数据SQL引擎》,作者:JavaEdge。学习大数据技术的核心原理,掌握一些高效的思考和思维方式,...

来源:开源中国 2022-04-29 39

· 开源到底是什么?---开源是一种协作模式(答复osc开源知产活动相关问题)

4月26日,世界知识产权日,开源中国组织了“真相只有一个,许可证可以有2个?!”的开源知识产权的线上直播交流活动,很高兴跟参会的嘉宾一起聊了聊开源相关知识产权的内容,也回答了一些观众朋友的问题。组织者说还有很多问题没有答复完成,我这里试着答复一二。答复之前,我想先强调一下开源到底是什么?最近中国...

来源:开源中国 2022-04-28 34

· Spark SQL 字段血缘在 vivo 互联网的实践

作者:vivo互联网服务器团队-HaoGuangshi一、背景字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢?有了字段间的血缘关系,便可以知道数据的来源去处,以及字段之间的转换关系,这样对数据的质量,治理有很大的帮助。SparkSQL相对于Hive来说通常情况...

来源:开源中国 2022-04-25 87

· Redis 内存满了怎么办?这样设置才正确!

上回在《Redis数据过期了会被立马删除么?》说到如果过期的数据太多,定时删除无法删除完全(每次删除完过期的key还是超过25%),同时这些key再也不会被客户端请求,就无法走惰性删除,内存被打满会怎样?答案是走内存淘汰机制。故事从一个叫Redis帝国的三公九卿官职说起……在Redis帝国中...

来源:开源中国 2022-04-24 62

· Spark SQL底层执行流程详解

本文目录一、ApacheSpark二、SparkSQL发展历程三、SparkSQL底层执行原理四、Catalyst的两大优化完整版传送门:Spark知识体系保姆级总结,五万字好文!一、ApacheSparkApacheSpark是用于大规模数据处理的统一分析引擎,基于内存计算,提高了在大...

来源:开源中国 2022-04-21 65

· 不care工具,在大数据平台中Hive能自动处理SQL

摘要:有没有更简单的办法,可以直接将SQL运行在大数据平台?本文分享自华为云社区《Hive执行原理》,作者:JavaEdge。MapReduce简化了大数据编程的难度,使得大数据计算不再是高不可攀的技术圣殿,普通工程师也能使用MapReduce开发大数据程序。但是对于经常需要进行大数据计算的人...

来源:开源中国 2022-04-19 109

· Linux命令sed--备份文件然后替换文件内容覆盖原文件

备份文件然后替换文件内容覆盖原文件sed-i.bak's/需替换内容/替换内容/g'xxx.conf备注mac版本有区别sed-i'.bak''s/需替换内容/替换内容/g'.git/config语法sed[-hnV][-e创作对你我有价值的,喜欢交朋友,失忆王子,期待与你共同探讨,...

来源:博客园 2022-04-19 36

· 分布式数据库--SQL优化之Plan Hint

Part1 -关于Hint Hint是嵌入SQL语句的对优化器进行提示的信息,是DBA进行SQL优化的常用手段。SQL语句经过优化器(规则优化(RBO)、代价优化(CBO)),通常会选择正确的查询路径,但是智者千虑,必有一失,有时优化器也会选择一个很差的计划,使得该条SQL查询变得很慢,此时需要DB...

来源:开源中国 2022-04-18 95

· AI4DB:人工智能之慢SQL根因分析

AI4DB:慢SQL根因分析概述慢SQL一直是数据运维中的痛点问题,如何有效诊断慢SQL根因是当前一大难题,工具结合openGauss自身特点融合了现网DBA慢SQL诊断经验,该工具可以支持慢SQL根因15+,能同时按照可能性大小输出多个根因并提供针对性的建议。环境部署数据库运行正常...

来源:开源中国 2022-04-18 60

· Redis HyperLogLog 是什么?这些场景使用它,让我枪出如龙,一笑破苍穹

在移动互联网的业务场景中,数据量很大,我们需要保存这样的信息:一个key关联了一个数据集合,同时对这个数据集合做统计。比如:统计一个APP的日活、月活数;统计一个页面的每天被多少个不同账户访问量(UniqueVisitor,UV));统计用户每天搜索不同词条的个数;统计注册IP数。通...

来源:开源中国 2022-04-13 78

· 解决Docker容器iptables不能用

最近使用frp做跳板远程运维内网的服务器,尽管已经屏蔽了海外IP对vps服务器的访问,但是总觉得直接暴露远程管理的端口在互联网上还是不安全。于是想着用Ocserv做服务端先vpn拨进去在进行运维会安全很多。选择Ocserv的原因也是因为支持思科的anyconnect客户端,各大应用市场都不屏蔽比较具...

来源:博客园 2022-04-12 100

· MySQL 总是差八个小时,如何破?

今天来聊一个简单的话题,这是一个小伙伴在微信上问我的,对于初学者我非常能理解这类问题带来的困扰,各种尝试,各种搜索,别人说的头头是道,但是就是解决不了自己的问题,今天我简单从两个方面来和大家聊聊这个问题,如果小伙伴们有其他的解决思路,也可以留言一起分享。这个问题我们可以从两方面来分析:MySQ...

来源:开源中国 2022-04-12 72

· 硬核 | Redis 布隆(Bloom Filter)过滤器原理与实战

在Redis缓存击穿(失效)、缓存穿透、缓存雪崩怎么解决?中我们说到可以使用布隆过滤器避免「缓存穿透」。码哥,布隆过滤器还能在哪些场景使用呀?比如我们使用「码哥跳动」开发的「明日头条」APP看新闻,如何做到每次推荐给该用户的内容不会重复,过滤已经看过的内容呢?你会说我们只要记录了每个用户看...

来源:开源中国 2022-04-11 63

· openGauss3.0.0新特性 -- 并行解码浅谈

在信息技术飞速发展的今天,各种类型数据库层出不穷。由于支持数据在异构数据库间同步,逻辑复制的重要性与日俱增。当前openGauss逻辑复制串行解码平均性能为3~5MBps,在业务压力大的场景下难以满足实时同步的需求,导致日志堆积,从而影响生产集群业务。因此,我们设计了并行解码特性,令多个线程协同并行...

来源:开源中国 2022-04-08 73

· 智能计算时代 | SuperSQL基于监督学习模型的自适应计算提效能力

天穹SuperSQL是腾讯自研、基于统一SQL语言模型、面向机器学习智能调优、提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的DataCloud上,业务方可以消费完整的数据生命周期(采集-存储-计算-分析-洞察),还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需...

来源:开源中国 2022-04-07 61

· Redis 缓存击穿(失效)、缓存穿透、缓存雪崩怎么解决?

原始数据存储在DB中(如MySQL、Hbase等),但DB的读写性能低、延迟高。比如MySQL在4核8G上的TPS=5000,QPS=10000左右,读写平均耗时10~100ms。用Redis作为缓存系统正好可以弥补DB的不足,「码哥」在自己的MacBookPro2019上执行Redis性能测试...

来源:开源中国 2022-04-07 74

· MySQL 表数据多久刷一次盘?

前言事情是这样的,在某乎的邀请回答中看到了这个问题:-然后当时我没多想就啪一下写下来这样的答案:这个其实要通过MySQL后台线程来刷的,在BufferPool中被修改的过的Page(页)都会被标记成脏页,放到一个链表(Flush链表)里。然后MySQL通过启动后台线程,在满足条件时将F...

来源:开源中国 2022-04-07 89

· 如何预测SQL语句查询时间?

1.概述Predictor是基于机器学习且具有在线学习能力的查询时间预测工具。通过不断学习数据库内收集的历史执行信息,实现计划的执行时间预测功能。本特性需要拉起python进程AIEngine,用于模型的训练和推理。2.环境部署前提条件需要保证openGauss数据库处于正常状态,...

来源:开源中国 2022-04-06 100

· 前沿科技探究之AI功能:慢SQL发现

SQLdiag:慢SQL发现SQLdiag是openGauss中SQL语句执行时长预测工具。现有的预测技术主要基于执行计划的预测方法,但这些预测方案仅适用于OLAP场景且可以获取执行计划的任务,对于OLTP或者HTAP这样的快速、简单查询是没有太多使用价值的。与上述方案不同,SQLdiag着眼于...

来源:开源中国 2022-04-02 119

· T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践

在日前的ApacheSeaTunnel&Kyuubi联合Meetup上,T3出行大数据平台负责人、ApacheKyuubicommitter杨华和T3出行高级大数据工程师李心恺共同分享了ApacheKyuubi(Incubating)在T3出行的最新实践与应用,包括基于Kyuubi设计的FlinkS...

来源:开源中国 2022-03-30 128

· 一文了解MySQL的Buffer Pool

摘要:Innodb存储引擎设计了一个缓冲池(BufferPool),来提高数据库的读写性能。本文分享自华为云社区《MySQL的BufferPool,终于被我搞懂了》,作者:小林coding。今天就聊MySQL的BufferPool,发车!为什么要有BufferPool?虽然说MySQL...

来源:开源中国 2022-03-28 120

· MySQL 表分区?涨知识了!

@[toc]松哥之前写过文章跟大家介绍过用MyCat实现MySQL的分库分表,不知道有没有小伙伴研究过,MySQL其实也自带了分区功能,我们可以创建一个带有分区的表,而且不需要借助任何外部工具,今天我们就一起来看看。1.什么是表分区小伙伴们知道,MySQL数据库中的数据是以文件的形势存在磁盘上的...

来源:开源中国 2022-03-28 112

· 给你 2 万条数据,怎么快速导入到 MySQL?写得太好了...

来源:blog.csdn.net/kisscatforever/article/details/79817039一、前言前两天做了一个导入的功能,导入开始的时候非常慢,导入2w条数据要1分多钟,后来一点一点的优化,从直接把list怼进Mysql中,到分配把list导入Mysql中,到多线程把li...

来源:博客园 2022-03-26 111

· Java反射详解篇--一篇入魂

1.反射概述Java程序在运行时操作类中的属性和方法的机制,称为反射机制。一个关键点:运行时一般我们在开发程序时,都知道自己具体用了什么类,直接创建使用即可。但当你写一些通用的功能时没办法在编写时知道具体的类型,并且程序跑起来还会有多种类型的可能,则需要在运行时动态的去调用某个类的属性和方法,...

来源:博客园 2022-03-26 98

· Java注解--一张图一案例掌握自定义注解

1.概述是什么:是对方法、类、参数、包、域以及变量等进行代码功能的增强或者修改程序的行为等操作。应用跟踪代码依赖性,实现替代配置文件功能在反射中使用Annotation,字段格式化(如:数据字段脱敏、日期格式)在编译时进行格式检查生成帮助文档2.注解相关知识元注解指的是所有注解都基于它们...

来源:博客园 2022-03-26 127

· 前沿科技探究DeepSQL:库内AI算法

数据库DeepSQL特性实现DB4AI功能,即在数据库内实现AI算法,以更好的支撑大数据的快速分析和计算。这里提供了一整套基于SQL的机器学习、数据挖掘以及统计学的算法,用户可以直接使用SQL进行机器学习工作。DeepSQL能够抽象出端到端从数据到模型的研发过程,配合底层的引擎及自动优化,具备基础S...

来源:开源中国 2022-03-25 85

· 华为云企业级Redis揭秘第17期:集群搭载多DB,多租隔离更降本

摘要:GaussDB(forRedis)支持真正可扩展的多DB,轻松实现降本增效。本文分享自华为云社区《华为云企业级Redis揭秘第17期:集群搭载多DB,多租隔离更降本》,作者:GaussDB数据库。背景:GaussDB(forRedis)是华为云数据库团队推出的企业级Redis,完全兼容开...

来源:开源中国 2022-03-24 79

· 平衡树:为什么Redis内部实现用跳跃表

摘要:Redis使用跳跃表(skiplist)作为有序集合(zset)的底层实现之一。本文分享自华为云社区《5分钟了解Redis的内部实现跳跃表(skiplist)》,作者:万猫学社。跳跃表简介跳跃表(skiplist)是一个有序的数据结构,它通过在每个节点维护不同层次指向后续节点的指针,...

来源:开源中国 2022-03-24 96

· MySQL索引原理及实战

摘要本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题。特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BTree索引,哈希索引,全文索引等等。为了避免混乱,本文将只关注于BTree索引,因为这是平常使用My...

来源:开源中国 2022-03-22 87

· 万字长文详解HiveSQL执行计划

本文目录:一、前言二、SQL的执行计划explain的用法explain的使用场景案例一:join语句会过滤null的值吗?案例二:groupby分组语句会进行排序吗?案例三:哪条sql执行效率高呢?案例四:定位产生数据倾斜的代码段explaindependency的用法案例一:识别看似等价...

来源:开源中国 2022-03-22 112

· CentOS7安装MYSQL8.X详细教程

1-首先查看系统是否存在mysql,无则不返回#rpm-qa|grepmysql2-安装wget#yum-yinstallwget3-抓取mariadb并删除包,无则不返回#rpm-qa|grepmariadb4-删除mariadb-libs-5.5.68-1.el7.x86_64...

来源:博客园 2022-03-18 94

· MySQL 主从复制数据不一致,怎么办?

@[toc]今天的文章来晚了,主要是我一觉起来变黄码了,关键是我还不知道,早上8.20到了公司楼下,保安要看健康码,当我自信满满的打开粤省事却傻眼了,折腾一早上,绿码总算回来了,真是生活处处有惊喜。。。书接上回,闲话不表。今天来说说MySQL主从复制数据不一致的问题,通过几个具体的案例,来向小...

来源:开源中国 2022-03-18 121

· 还在写SQL做SAP二开?通过RFC调用NetWeaver,让HANA数据库操作更可靠

相比于从零开始构建全套信息化系统,基于成熟的ERP等行业软件做二次开发是更多中大型企业应对个性化软件需求的首选方案。如何在二开模块中,可靠地对成品软件的数据库进行读写操作,以满足单据自动创建、元数据自动同步等系统集成要求,是摆在开发者面前的难题。今天,我们基于活字格低代码平台的技术支持工作中较为常见...

来源:开源中国 2022-03-17 114

· MySQL子查询的一些练习(未完)

1.查询平均工资最低的部门的信息和该部门的平均工资SELECT中用相关子查询方式一:SELECT*,(SELECTAVG(salary)FROMemployeest3WHEREt3.department_id=t1.department_id)"AVG_SAL"FROMemployeest...

来源:博客园 2022-03-15 99

· MySQL创建和管理表

创建和管理表基础知识一条数据的存储标识符命名规则MySQL中的数据类型常用创建和管理数据库删除后,除非有备份,否则,不能恢复创建数据库方式一:直接创建CREATEDATABASEmytest1;方式二:指明字符集CREATEDATABASEmytest2C...

来源:博客园 2022-03-15 95

· MySQL增删改

数据处理之增删改插入数据(增)前提:创建一个空表:id,name,hire_data,salary,方式一:一条一条的添加数据1.没有指明添加的字段,*必须*按照表中字段的顺序添加INSERTINTOemp1VALUES(1,'Tom','2000-12-03',2300);2....

来源:博客园 2022-03-15 81

· MySQL知识点总结(完整版)

MySQL学习笔记登录和退出MySQL服务器#登录MySQL$mysql-uroot-p12345612#退出MySQL数据库服务器exit;基本语法--显示所有数据库showdatabases;--创建数据库CREATEDATABASEtest;--切换数据库use...

来源:博客园 2022-03-15 130

· MySQL常用数据类型及细节

目录1整数类型1.1可选属性1.1.1M1.1.2UNSIGNED1.1.3ZEROFILL2浮点类型2.1精度误差3定点数类型3.1数据精度说明3.2类型介绍4位类型5日期与时间类型5.1TIMESTAMP5.2TIMESTAMP与DATETIME的区别6文本字符串类型6.1CHAR与VARCHA...

来源:博客园 2022-03-15 102

· MySQL数据类型(精)

数据类型(精)MySQL中的数据类型整型类型类型介绍可选属性M显示宽度不会影响类型的实际宽度设置字段f1,f2,f3f1INT,f2INT(5),f3INT(5)ZEROFILL#不足宽度时,会自动补0;并且自动变成UNSIGNED添加数据INSERTINTO...

来源:博客园 2022-03-15 96

· MySQL约束

约束约束(constraint)概述为什么要约束为了保证数据完整性什么是约束对表中字段的(强制)限制约束的分类角度一:字段个数单类约束,多列约束角度二:约束的作用范围/定义位置列级约束:将此约束声明在字段的后面表级约束:在表中所有字段声明完,在所有字段的后面声明的约束...

来源:博客园 2022-03-15 103

· 带你掌握Redis数据类型:string和Hash

摘要:Redis中有五大数据类型,分别是String、List、Set、Hash和Zset。本文分享自华为云社区《Redis的string类型常用命令解析》,作者:灰小猿。先问大家一个问题:你知道Java的数据类型有哪些吗?很多小伙伴肯定会直接想到int、byte、string等等~~~但是如...

来源:开源中国 2022-03-04 126

热门文章

> <

每日一笑关闭


	   
	   
	   
评论一下
返回顶部