1000倍!ClickHouse存储A股数据实践

量化投资与机器学习 发布于 2021-03-04 17:26:57

作者:量化投资与机器学习公众号独家撰写
前言量化回测,苦于MySQL久矣,特别是进行股票日内因子构建分析或全市场因子测试的时候,每当按下回车时,MySQL就跟丢了魂一样,查询费时,大吞吐量读取也非常耗时。虽然MySQL的优化技巧足够写一本书,但这些都需要交给专业的DB工程师去做,量化打工人没有能力更没有时间倒腾这些。那有没有省时省力,高效存储股票行情数据的解决办法呢。带着这个问题,编辑部简单的搜索了一下,总体分为几个方案:
1、用二进制文件分日期分股票存储,比如HDF5。
2、使用SQL Server等支持分区表的事务型数据库。
3、使用hive这样的离线数据仓库。
4、用Greenplum等开源或商业MPP数据仓库。
5、InfluxDB, Kdb+和Clickhouse等开源或商用的专业时序数据库。以 ( 点击阅读全文 )

免费下载App,立即成为ETF达人
18 收藏

巴菲特指标:严重高估!

  • 量化投资与机器学习 2021-02-13 11:41:17
全网Quant都在看!巴菲特指标 截至2021年2月4日,巴菲特指标:$48.7T ÷ $21.7T = 224%根据CMV的计算,目前巴菲特指标比历史平均水平高出84%(约2.8个标准差),这表明市场...
1 收藏

石川博士:探寻A股市场的定价模型:数据、研究和启示

  • 量化投资与机器学习 2020-12-20 21:37:16
1嘉宾介绍石川 | 北京量信投资管理有限公司创始合伙人;清华大学学士、硕士,麻省理工学院博士;知名期刊 Computers in Industry 编委会委员;因子投资中文版首著《因子投资:方法与实践》的领衔...
12 收藏

人工智能:新基建,迎接智能新时代

  • 泽平宏观 2020-04-29 17:05:15
文:恒大研究院 任泽平 连一席 谢嘉琪 人工智能是新一轮产业变革的核心驱动力量,将推动数万亿数字经济产业转型升级。三次工业革命历史表明,不论机械技术、电力技术和信息技术,都可以极大地促进生产标准化、自...
5 收藏

简述5G押注三部曲(二):人工智能+

  • 奇衡DK-CAPITAL 2020-11-09 00:35:13
我在2019年12月5日写了一篇《简述5G押注三部曲》,阐述了炒基站、炒换机和炒应用的三个基本押注顺序。而那时,我已经在基站建设潮的押注环节,通过一只非常冷门的港股(中航国际控股,20190110)深度打折地...

发布
问题