HTAP 快速上手指南

本指南介绍如何快速上手体验 TiDB 的一站式混合型在线事务与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 功能。

基础概念

在试用前，你需要对 TiDB 面向在线事务处理的行存储引擎TiKV与面向实时分析场景的列存储引擎TiFlash有一些基本了解：

• HTAP 存储引擎：行存 (Row-store) 与列存 (columnar-store) 同时存在，自动同步，保持强一致性。行存为在线事务处理 OLTP 提供优化，列存则为在线分析处理 OLAP 提供性能优化。
• HTAP 数据一致性：作为一个分布式事务型的键值数据库，TiKV 提供了满足 ACID 约束的分布式事务接口，并通过Raft协议保证了多副本数据一致性以及高可用。TiFlash通过Multi-Raft Learner 协议实时从 TiKV 复制数据，确保与 TiKV 之间的数据强一致。
• HTAP 数据隔离性：TiKV、TiFlash 可按需部署在不同的机器，解决 HTAP 资源隔离的问题。
• MPP 计算引擎：从 v5.0 版本起，TiFlash 引入了分布式计算框架MPP，允许节点之间的数据交换并提供高性能、高吞吐的 SQL 算法，可以大幅度缩短分析查询的执行时间。

体验步骤

本文的步骤以TPC-H数据集为例，通过其中一个查询场景来体验 TiDB HTAP 的便捷性和高性能。TPC-H 是业界较为流行的决策支持（Desision Support）业务 Benchmark。它包含大数据量下，一个业务决策分析系统所需要响应的不同类型高复杂度的即席查询。如果需要体验 TPC-H 完整的 22 条 SQL，可以访问tidb-bench 仓库或者阅读 TPC-H 官网说明了解如何生成查询语句以及数据。

第 1 步：部署试用环境

在试用 TiDB HTAP 功能前，请按照TiDB 数据库快速上手指南中的步骤准备 TiDB 本地测试环境，执行以下命令启动 TiDB 集群：

              

               tiup playground

               
               

第 2 步：准备试用数据

通过以下步骤，将生成一个TPC-H数据集用于体验 TiDB HTAP 功能。如果你对 TPC-H 感兴趣，可查看其规格说明。

1. 使用以下命令安装数据生成工具：

   
                   
   
                    tiup install bench
   
                    
                    

2. 使用以下命令生成数据：

   
                   
   
                    tiup bench tpch --sf=1 prepare
   
                    
                    

   当命令行输出Finished时，表示数据生成完毕。

3. 运行以下 SQL 语句查看生成的数据：

   
                   
   
                    SELECTCONCAT(table_schema,'.',table_name)AS
                    'Table Name', table_rowsAS
                    'Number of Rows', CONCAT(ROUND(data_length/(1024
                    *
                    1024
                    *
                    1024),4),'G')AS
                    'Data Size', CONCAT(ROUND(index_length/(1024
                    *
                    1024
                    *
                    1024),4),'G')AS
                    “索引大小”, CONCAT(ROUND((data_length+index_length)/(1024
                    *
                    1024
                    *
                    1024),4),'G')AS
                    'Total'
                    FROMinformation_schema.TABLESWHEREtable_schemaLIKE
                    'test';
   
                    
                    

   从输出中可以看到，一共生成了八张表，最大的一张表数据量有 600 万行（由于数据是工具随机生成，所以实际的数据生成量以 SQL 实际查询到的值为准）。

   
                   
   
                    +
                    ---------------+----------------+-----------+------------+---------+
                    |
                    TableName|Numberof
                    Rows
                    |Data Size|Index Size|Total|
                    +
                    ---------------+----------------+-----------+------------+---------+
                    |test.nation|
                    25
                    |
                    0.0000G|
                    0.0000G|
                    0.0000G|
                    |test.region|
                    5
                    |
                    0.0000G|
                    0.0000G|
                    0.0000G|
                    |test.part|
                    200000
                    |
                    0.0245G|
                    0.0000G|
                    0.0245G|
                    |test.supplier|
                    10000
                    |
                    0.0014G|
                    0.0000G|
                    0.0014G|
                    |test.partsupp|
                    800000
                    |
                    0.1174G|
                    0.0119G|
                    0.1293G|
                    |test.customer|
                    150000
                    |
                    0.0242G|
                    0.0000G|
                    0.0242G|
                    |test.orders|
                    1514336
                    |
                    0.1673G|
                    0.0000G|
                    0.1673G|
                    |test.lineitem|
                    6001215
                    |
                    0.7756G|
                    0.0894G|
                    0.8651G|
                    +
                    ---------------+----------------+-----------+------------+---------+
                    8
                    rows
                    in
                    set(0.06sec)
   
                    
                    

   这是一个商业订购系统的数据库。其中，test.nation表是国家信息、test.region表是地区信息、test.part表是零件信息、test.supplier表是供货商信息、test.partsupp表是供货商的零件信息、test.customer表是消费者信息、test.orders表是订单信息、test.lineitem表是在线商品的信息。

第 3 步：使用行存查询数据

执行以下 SQL 语句，你可以体验当只使用行存（大多数数据库）时 TiDB 的表现：

              

               SELECTl_orderkey,SUM( l_extendedprice*(1
               -l_discount) )ASrevenue, o_orderdate, o_shippriorityFROMcustomer, orders, lineitemWHEREc_mktsegment=
               'BUILDING'
               ANDc_custkey=o_custkeyANDl_orderkey=o_orderkeyANDo_orderdate<
               DATE
               '1996-01-01'
               ANDl_shipdate>
               DATE
               '1996-02-01'
               GROUP
               BYl_orderkey, o_orderdate, o_shippriorityORDER
               BYrevenueDESC, o_orderdate limit10;

               
               

这是一个运送优先权查询，用于给出在指定日期之前尚未运送的订单中收入最高订单的优先权和潜在的收入。潜在的收入被定义为l_extendedprice * (1-l_discount)的和。订单按照收入的降序列出。在本示例中，此查询将列出潜在查询收入在前 10 的尚未运送的订单。

第 4 步：同步列存数据

TiFlash 部署完成后并不会自动同步 TiKV 数据，你可以在 MySQL 客户端向 TiDB 发送以下 DDL 命令指定需要同步到 TiFlash 的表。指定后，TiDB 将创建对应的 TiFlash 副本。

              

               ALTER
               TABLEtest.customerSETTIFLASH REPLICA1;ALTER
               TABLEtest.ordersSETTIFLASH REPLICA1;ALTER
               TABLEtest.lineitemSETTIFLASH REPLICA1;

               
               

如需查询 TiFlash 表的同步状态，请使用以下 SQL 语句：

              

               SELECT
               *
               FROMinformation_schema.tiflash_replicaWHERETABLE_SCHEMA=
               'test'
               andTABLE_NAME=
               'customer';SELECT
               *
               FROMinformation_schema.tiflash_replicaWHERETABLE_SCHEMA=
               'test'
               andTABLE_NAME=
               'orders';SELECT
               *
               FROMinformation_schema.tiflash_replicaWHERETABLE_SCHEMA=
               'test'
               andTABLE_NAME=
               'lineitem';

               
               

以上查询结果中：

• AVAILABLE字段表示该表的 TiFlash 副本是否可用。1 代表可用，0 代表不可用。副本状态变为可用之后就不再改变。
• PROGRESS字段代表同步进度，在 0.0~1.0 之间，1 代表 TiFlash 副本已经完成同步。

第 5 步：使用 HTAP 更快地分析数据

再次执行第 3 步中的 SQL 语句，你可以感受 TiDB HTAP 的表现。

对于创建了 TiFlash 副本的表，TiDB 优化器会自动根据代价估算选择是否使用 TiFlash 副本。如需查看实际是否选择了 TiFlash 副本，可以使用desc或explain analyze语句，例如：

              

               explain analyzeSELECTl_orderkey,SUM( l_extendedprice*(1
               -l_discount) )ASrevenue, o_orderdate, o_shippriorityFROMcustomer, orders, lineitemWHEREc_mktsegment=
               'BUILDING'
               ANDc_custkey=o_custkeyANDl_orderkey=o_orderkeyANDo_orderdate<
               DATE
               '1996-01-01'
               ANDl_shipdate>
               DATE
               '1996-02-01'
               GROUP
               BYl_orderkey, o_orderdate, o_shippriorityORDER
               BYrevenueDESC, o_orderdate limit10;

               
               

如果结果中出现 ExchangeSender 和 ExchangeReceiver 算子，表明 MPP 已生效。

此外，你也可以指定整个查询的各个计算部分都只使用 TiFlash 引擎，详情请参阅使用 TiDB 读取 TiFlash。

你可以对比两次的查询结果和查询性能。

探索更多

• TiDB HTAP 形态架构
• 深入探索 HTAP
• 使用 TiFlash