MySQL 利用多線程提升查詢性能的一種思路,問題的癥結在于只能單線程執行。本方案提供一種引擎Multi-thread-query,讓MySQL能夠用
背景
報表統計類的查詢是一類耗時的查詢。使用場景是QPS并不大,單每個查詢由于需要訪問較多數據,對大量數據做處理,執行時間較長(通常秒級以上)。
分析
可以將一個大查詢分成多個子查詢,如果子查詢需要訪問的數據為整個查詢的1/n,則可估計執行時間為1/n。但由于MySQL一個查詢只能在單線程中執行,導致即使將一個大查詢拆分成多個子查詢,多個子查詢執行后合并,需要時間為n*1/n=1,仍不能提升其性能。
問題的癥結在于只能單線程執行。本方案提供一種引擎Multi-thread-query,讓MySQL能夠用多線程同時執行多個子查詢。由于還要做一點合并工作,整個查詢的時間將略大于n個子查詢中查詢時間最長的一個,即性能接近n倍。
最后一部分舉了一個例子,n=3。
方案說明
1、圖示
2、用戶對MTQ發起查詢,MTQ拆分成多個子查詢向實體表發起多線程查詢。
3、MTQ等待全部線程執行完成后,可以在此基礎上執行其他函數操作,如count、avg、group by等。
4、需要修改SQL查詢格式,子查詢如何拆分,由用戶在查詢里面指定。
5、適用于每個子查詢都是計算量大,返回結果少的情況。(若返回結果越多,合并耗時越大)
舉例
以一個統計查詢需求為例(數據是構造的,木有神馬泄密問題)
一個正常的查詢如下:
查詢結果
相同機器上使用MTQ查詢語法:
MTQ查詢結果
可以看到,,時間從3s減少為1.2s,查詢結果相同,查詢語句上可以直接做sum、group by操作。
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com