前提介绍
ShardingSphere介绍
ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar(计划中)这3款相互独立的产品组成。 他们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。
shardingJDBC使用的范围
- 适用于任何基于JDBC的ORM框架,如:JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
- 支持任何第三方的数据库连接池,如:DBCP, C3P0, BoneCP, Druid, HikariCP等。
- 支持任意实现JDBC规范的数据库。目前支持MySQL,Oracle,SQLServer,PostgreSQL以及任何遵循SQL92标准的数据库。
详细一点的介绍直接看官网:https://shardingsphere.apache.org/document/current/cn/overview/
SQL语句相关
-
逻辑表:水平拆分的数据库(表)的相同逻辑和数据结构表的总称。例:订单数据根据主键尾数拆分为2张表,分别是t_order_0到t_order_1,他们的逻辑表名为t_order。
-
真实表:在分片的数据库中真实存在的物理表。例:示例中的t_order_0到t_order_1
-
数据节点:数据分片的最小单元。由数据源名称和数据表组成,例:ds_0.t_order_0;ds_0.t_order_1;
-
绑定表:指分片规则一致的主表和子表。例如:t_order表和t_order_item表,均按照order_id分片,则此两张表互为绑定表关系。绑定表之间的多表关联查询不会出现笛卡尔积关联,关联查询效率将大大提升。
-
广播表:指所有的分片数据源中都存在的表,表结构和表中的数据在每个数据库中均完全一致。适用于数据量不大且需要与海量数据的表进行关联查询的场景。
数据分片相关
- 分片键:用于分片的数据库字段,是将数据库(表)水平拆分的关键字段。例:将订单表中的订单主键的尾数取模分片,则订单主键为分片字段。
SQL中如果无分片字段,将执行全路由,性能较差。 除了对单分片字段的支持,ShardingSphere也支持根据多个字段进行分片。
- 分片算法:通过分片算法将数据分片,支持通过=、>=、、
目前提供4种分片算法
- 精确分片算法:对应PreciseShardingAlgorithm,用于处理使用单一键作为分片键的=与IN进行分片的场景。需要配合StandardShardingStrategy使用。
- 范围分片算法:对应RangeShardingAlgorithm,用于处理使用单一键作为分片键的BETWEEN AND、>、=、
- 复合分片算法:对应ComplexKeysShardingAlgorithm,用于处理使用多键作为分片键进行分片的场景,包含多个分片键的逻辑较复杂,需要应用开发者自行处理其中的复杂度。需要配合ComplexShardingStrategy使用。
- Hint分片算法:对应HintShardingAlgorithm,用于处理使用Hint行分片的场景。需要配合HintShardingStrategy使用。
分片策略:包含分片键和分片算法,由于分片算法的独立性,将其独立抽离。真正可用于分片操作的是分片键 + 分片算法,也就是分片策略。
目前提供5种分片策略
-
标准分片策略:对应StandardShardingStrategy,提供对SQL语句中的=, >, =,
- StandardShardingStrategy只支持单分片键,提供PreciseShardingAlgorithm和RangeShardingAlgorithm两个分片算法。
- PreciseShardingAlgorithm是必选的,用于=和IN的分片。
- RangeShardingAlgorithm是可选的,用于BETWEEN AND, >, =,
- StandardShardingStrategy只支持单分片键,提供PreciseShardingAlgorithm和RangeShardingAlgorithm两个分片算法。
-
复合分片策略:对应ComplexShardingStrategy。提供对SQL语句中的=, >, =, 。
- ComplexShardingStrategy支持多分片键,由于多分片键之间的关系复杂,因此并未进行过多的封装。
- 而是直接将分片键值组合以及分片操作符透传至分片算法,完全由应用开发者实现,提供最大的灵活度。
-
行表达式分片策略:对应InlineShardingStrategy。使用Groovy的表达式,提供对SQL语句中的=和IN的分片操作支持,只支持单分片键。
-
对于简单的分片算法,可以通过简单的配置使用,从而避免繁琐的Java代码开发,如:
t_user_$->{u_id % 8}
表示t_user表根据u_id模8,而分成8张表,表名称为t_user_0到t_user_7。 -
Hint分片策略:对应HintShardingStrategy。通过Hint指定分片值而非从SQL中提取分片值的方式进行分片的策略。
-
不分片策略:对应NoneShardingStrategy。
配置相关
分片规则:分片规则配置的总入口。包含数据源配置、表配置、绑定表配置以及读写分离配置等。
- 数据源配置:真实数据源列表。
- 表配置:逻辑表名称、数据节点与分表规则的配置
- 数据节点配置:用于配置逻辑表与真实表的映射关系。
- 分片策略配置:
- 数据源分片策略:对应于DatabaseShardingStrategy。用于配置数据被分配的目标数据源。
- 表分片策略:对应于TableShardingStrategy。用于配置数据被分配的目标表,该目标表存在与该数据的目标数据源内。故表分片策略是依赖与数据源分片策略的结果的。
- 自增主键生成策略:通过在客户端生成自增主键替换以数据库原生自增主键的方式,做到分布式主键无重复。(雪花算法)
开发步骤
开发整合方式
方式一:基于配置文件集成,方便简单但是不够灵活
io.shardingsphere
sharding-jdbc-spring-boot-starter
3.1.0.M1
io.shardingsphere
sharding-jdbc-spring-namespace
3.1.0.M1
方式二:这里我们主要基于java config的方式来集成到springboot中,更适合学习和理解
//相关依赖
io.shardingsphere
sharding-jdbc-core
3.1.0
io.shardingsphere
sharding-jdbc-orchestration
3.1.0
io.shardingsphere
sharding-orchestration-reg-zookeeper-curator
3.1.0
定义相关配置类(DataSourceConfig => MybatisConfig => TransactionConfig)
ShardingSphereDataSourceConfig
import javax.sql.DataSource;
import java.lang.management.ManagementFactory;
import java.sql.SQLException;
import java.util.*;
/**
* @Author zhangboqing
* @Date 2020/4/25
*/
@Configuration
@Slf4j
public class ShardingSphereDataSourceConfig {
@Bean("shardingDataSource")
DataSource getShardingDataSource() throws SQLException {
//初始化相关的分片规则配置信息控制机制
ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
// 设置相关的数据源
shardingRuleConfig.setDefaultDataSourceName("ds0");
// 设置相关的Order表的相关的规则信息配置机制
shardingRuleConfig.getTableRuleConfigs().add(getOrderTableRuleConfiguration());
// 设置相关的OrderItem表的相关的规则信息配置机制
shardingRuleConfig.getTableRuleConfigs().add(getOrderItemTableRuleConfiguration());
// 配置绑定表关系
shardingRuleConfig.getBindingTableGroups().add("t_order, t_order_item");
// 广播表操作机制
shardingRuleConfig.getBroadcastTables().add("t_config");
// 设置相关的分片机制策略(数据源分片策略机制控制)
shardingRuleConfig.setDefaultDatabaseShardingStrategyConfig(new InlineShardingStrategyConfiguration("user_id", "ds${user_id % 2}"));
// 设置相关的分片策略机制,子啊inline模式下(包含了两种模式)
shardingRuleConfig.setDefaultTableShardingStrategyConfig(getShardingStrategyConfiguration());
// ShardingPropertiesConstant相关配置选项
Properties properties = new Properties();
//是否打印SQL解析和改写日志
properties.put("sql.show",true);
//用于SQL执行的工作线程数量,为零则表示无限制
propertie.setProperty("executor.size","4");
//每个物理数据库为每次查询分配的最大连接数量
propertie.setProperty("max.connections.size.per.query","1");
//是否在启动时检查分表元数据一致性
propertie.setProperty("check.table.metadata.enabled","false");
//用户自定义属性
Map configMap = new HashMap();
configMap.put("effect","分库分表");
return ShardingDataSourceFactory.createDataSource(createDataSourceMap(), shardingRuleConfig, properties);
}
// 配置相关的分片策略机制
private ShardingStrategyConfiguration getShardingStrategyConfiguration(){
// 精确匹配
PreciseShardingAlgorithm preciseShardingAlgorithm = new PreciseShardingAlgorithm() {
@Override
public String doSharding(Collection availableTargetNames, PreciseShardingValue shardingValue) {
String prefix = shardingValue.getLogicTableName(); //逻辑表名称
Long orderId = shardingValue.getValue(); //订单编码
long index = orderId % 2; //订单表(分表路由索引)
// t_order + "" + 0 = t_order0
String tableName = prefix + "" +index;
// 精确查询、更新之类的,可以返回不存在表,进而给前端抛出异常和警告。
if (availableTargetNames.contains(tableName) == false) {
LogUtils.error(log,"PreciseSharding","orderId:{},不存在对应的数据库表{}!", orderId, tableName);
return availableTargetNames.iterator().next();
}
return tableName;
// return availableTargetNames.iterator().next();
}
};
// 范围匹配
RangeShardingAlgorithm rangeShardingAlgorithm = new RangeShardingAlgorithm() {
@Override
public Collection doSharding(Collection availableTargetNames, RangeShardingValue shardingValue) {
String prefix = shardingValue.getLogicTableName();
Collection resList = new ArrayList();
// 获取相关的数据值范围
Range valueRange = shardingValue.getValueRange();
// 如果没有上限或者下限的没有,则直接返回所有的数据表
if (!valueRange.hasLowerBound() || !valueRange.hasUpperBound()) {
return availableTargetNames;
}
// 获取下限数据范围
long lower = shardingValue.getValueRange().lowerEndpoint();
BoundType lowerBoundType = shardingValue.getValueRange().lowerBoundType();
// 获取下限数据范围
long upper = shardingValue.getValueRange().upperEndpoint();
BoundType upperBoundType = shardingValue.getValueRange().upperBoundType();
// 下限数据信息值
long startValue = lower;
long endValue = upper;
// 是否属于开区间(下限)
if (lowerBoundType.equals(BoundType.OPEN)) {
startValue++; //缩减范围1
}
// 是否属于开区间(上限)
if (upperBoundType.equals(BoundType.OPEN)) {
endValue--; // 缩减范围1
}
// 进行计算相关所需要是实体表
for (long i = startValue; i createDataSourceMap() {
Map result = new HashMap();
result.put("ds0", DataSourceUtils.createDataSource("ds0"));
result.put("ds1", DataSourceUtils.createDataSource("ds1"));
return result;
}
// 常见相关的workerid和dataid对应相关的进程id
private String getProcessId(){
String name = ManagementFactory.getRuntimeMXBean().getName();
String pid = name.split("@")[0];
return pid;
}
// 转换字符串成为相关的long类型
private Long convertString2Long(String str){
long hashCode = str.hashCode() + System.currentTimeMillis();
if(hashCode
ShardingsphereMybatisConfig 配置机制
/**
* @Author zhangboqing
* @Date 2020/4/23
*/
@Configuration
@MapperScan(basePackages = "com.zbq.springbootshardingjdbcjavaconfigdemo.dao",sqlSessionFactoryRef = "sqlSessionFactoryForShardingjdbc")
public class ShardingsphereMybatisConfig {
@Autowired
@Qualifier("shardingDataSource")
private DataSource dataSource;
@Bean("sqlSessionFactoryForShardingjdbc")
public SqlSessionFactory sqlSessionFactoryForShardingjdbc() throws Exception {
SqlSessionFactoryBean sessionFactory = new SqlSessionFactoryBean();
sessionFactory.setDataSource(dataSource);
// sessionFactory.setMapperLocations(new PathMatchingResourcePatternResolver().
// getResources("classpath*:**/*.xml"));
sessionFactory.setTypeAliasesPackage("com.zbq.springbootshardingjdbcjavaconfigdemo.domain.entity");
org.apache.ibatis.session.Configuration configuration = new org.apache.ibatis.session.Configuration();
configuration.setMapUnderscoreToCamelCase(true);
sessionFactory.setConfiguration(configuration);
return sessionFactory.getObject();
}
}
ShardingsphereTransactionConfig 配置机制
主要定制化配置事务操作可以空战未来的,为了未来的查询扩展XA
@Configuration
@EnableTransactionManagement
public class ShardingsphereTransactionConfig {
@Bean
@Autowired
public PlatformTransactionManager shardingsphereTransactionManager(@Qualifier("shardingDataSource") DataSource dataSource) {
return new DataSourceTransactionManager(dataSource);
}
}