TDengine在同花顺组合管理业务中的优化实践

1. TDengine在同花顺组合管理业务中的优化实践

同花顺作为中国领先的金融信息服务提供商,深耕于金融行业多年。其组合管理业务是其中的重要业务之一,用于帮助用户实现资产组合的管理和优化。在这个业务中,数据的存储和查询是至关重要的环节。针对海量的数据量和高并发的查询需求,同花顺选择了TDengine作为其关键数据库,并在实践中不断优化。

1.1 TDengine简介

TDengine是一个开源的高性能时序数据库,专注于处理时序数据。其具备高吞吐量、低延迟和高并发查询的能力,适用于海量时序数据的存储和处理场景。TDengine的架构设计和实现使得其能够满足同花顺组合管理业务的需求。

在同花顺的组合管理业务中,时序数据主要包括证券的价格、行情数据以及交易记录等。这些数据需要高效地存储和查询,以支持用户的投资决策和组合调整。

1.2 数据存储优化

在组合管理业务中,数据的实时性和准确性至关重要。为了优化数据的存储和读写性能,同花顺采用了以下方法:

1.2.1 数据分片

// 设置数据分片

CREATE TABLE stock (

ts TIMESTAMP,

code NCHAR(6),

price FLOAT,

...

) TAGS (symbol NCHAR(6)) PRIMARY KEY(ts, code) TTL ts + INTERVAL '365' DAY;

同花顺将数据按照股票代码和时间戳进行分片,利用TDengine的分片功能,使得不同股票的数据可以并行写入和查询。这样能够充分利用分布式的计算能力,提高数据的存储和查询性能。

1.2.2 数据压缩

// 启用数据压缩

ALTER TABLE stock COMPRESS snappy;

为了节约存储空间,同花顺启用了TDengine的数据压缩功能,使用Snappy压缩算法对数据进行压缩。这样不仅能够减少存储成本,还能提高数据的读写速度。

1.3 查询性能优化

组合管理业务中的查询需求非常高,包括实时行情查询、历史数据回测等。为了提高查询性能,同花顺进行了以下优化:

1.3.1 索引优化

// 创建索引

CREATE INDEX idx_symbol ON stock (symbol, ts);

同花顺通过创建合适的索引,提高查询的速度。在TDengine中,可以通过创建TAGS索引和属性索引来加速查询。对于组合管理业务中常用的股票代码查询,同花顺创建了符号(symbol)和时间戳(ts)的联合索引,以加快查询速度。

1.3.2 查询优化

// 样本查询

SELECT * FROM stock SAMPLE(0.1) WHERE symbol = '600000' AND ts BETWEEN '2022-01-01 00:00:00' AND '2022-01-31 23:59:59';

// 聚合查询

SELECT MAX(price), MIN(price) FROM stock WHERE symbol = '600000' AND ts BETWEEN '2022-01-01 00:00:00' AND '2022-01-31 23:59:59' GROUP BY ts/(INTERVAL '1' HOUR);

为了减少查询的数据量,同花顺采用了样本查询和聚合查询的方式。样本查询通过设置SAMPLE参数来获取指定比例的样本数据,以减少数据的读取量。聚合查询通过将数据按照一定的时间间隔进行分组,并对该时间段内的数据进行聚合计算,减少返回结果的数据量。

2. 总结

通过对TDengine在同花顺组合管理业务中的优化实践,我们可以看到,TDengine在存储和查询性能方面具有显著的优势。通过合理的数据分片、数据压缩和索引优化,可以大幅提升数据的存储和读写性能。同时,样本查询和聚合查询能够有效减少查询数据量,进一步提高查询的速度。

同花顺将继续与TDengine团队合作,不断优化和改进数据库系统,进一步提升组合管理业务的数据处理能力。同时,同花顺也将不断探索和尝试新的优化方法,为用户提供更优质的服务。

后端开发标签