Infinidb在大數據的實戰應用目錄?

背景?

InfiniDB的特點?

Infinidb的實戰問題一個真實的血案：?

需求：我們在數據庫mysql要做基于pv的分析。日均裸數據增量>10g?

初始方案：

使用innodb問題：數據量增加太快,磁盤空間增加太快(40g)數據加載太慢了最最重要統計類查詢太慢了，需要建太多的索引/匯總表?

改進方案：換成tokudb解決問題：數據壓縮4倍，空間增加勉強可以接受(10g)數據加載快些了4倍左右，勉強可以接受未解決：最最重要查詢太慢了，一個查詢5分鐘甚至更長，優化太痛苦，需要建太多的索引/匯總表問題一個真實的血案：?

需求：我們在數據庫mysql要做基于pv的分析。日均裸數據增量>10g?

初始方案：

使用innodb問題：數據量增加太快,磁盤空間增加太快(40g)數據加載太慢了最最重要統計類查詢太慢了，需要建太多的索引/匯總表?

改進方案：換成tokudb解決問題：數據壓縮4倍，空間增加勉強可以接受(10g)數據加載快些了4倍左右，勉強可以接受未解決：最最重要查詢太慢了，一個查詢5分鐘甚至更長，優化太痛苦，需要建太多的索引/匯總表解決：--換成infinidb?

最終方案：

使用infinidb(和最初方案innodb比較)–

空間增量2g

(

原來增量40g)–

加載數據

20萬/每秒

（原來

<1萬/每秒）–

查詢一般小于1分鐘（原來5分鐘，甚至20分鐘）–

免優化（再也不要建index了哦）?

業務線的反饋目錄?

背景?

InfiniDB的特點?

Infinidb的實戰Infinidb的定位Hbase

等infinidbinfinidbinfinidb產品介紹產品特點：?

Mysql協議兼容?

全功能，支持dml?

統計類查詢10倍?

Load數據快（每秒>10萬）?

壓縮率5倍（和裸數據比）?

免優化Infinidb的單機構架InfiniDB

分布式框架集群文件系統（hdfs/gfs）

2013.10.15

支持hdfs

–不太建議生產環境用真實業務性能測試—查詢性能分析類存儲引擎InfiniDB

–

查詢性能對比測試TPCH測試（以下以1G數據量，150000行用戶數據測試）InfiniDB存儲

–

為啥查詢這樣快數據存儲方面，“拆拆拆”：?

按列拆?

按行（范圍）拆：核心算法：hash

joinInfiniDB存儲

–

按列拆InfiniDB存儲

–

按行（范圍）拆每個范圍（術語：Extent

Map）都有最大/最小值，方便過濾Extent

Map

的向上擴展更大的范圍（術語：Partition）也有最大值/最小值每個Extent

Map

可以并行計算InfiniDB存儲

–

hash

join核心算法：hash

join?

每行都有一個rowid?

查詢2列以上：通過行rowid關聯，使用hash

join?

不太怕表的關聯?

很怕Select

*InfiniDB存儲

–

為啥查詢這樣快（總結）數據存儲方面，“拆拆拆”：?

按列拆?

按行（范圍）拆：?

通過核心算法：hash

join實現關聯裝載和更新-真實業務性能測試InfiniDB存儲

–

數據裝載語法load

data

local

infile

…?

速度超快

(>10萬/每秒)?

一個表只能對應一個load語句，不可并行內部過程：?

內部實現轉換成cpimport的方式?

內部實現

并行加載（不可以調并行度，代碼寫死了）?

Cpimport的實現是append

文件的方式

InfiniDB存儲

–-鎖、事務和mvcc對于DML:頁級別的鎖

Version

Buffer

(SCN)

:

1.

保存被修改的數據塊，用于管理回滾、MVCC支持和snapshot

2.

Initial

4M

內存hash表，默認文件1G，VersionBufferFileSize控制大小

3.

在HDFS上，MVCC是disabled的，回滾只支持在語句級對應load數據：append數據到文件末尾，需要回滾時直接拋棄數據InfiniDB

–

壓縮每一列的重復值多，所以壓縮率5倍set

infinidb_compression_type

=

n可以在實例級或session啟用關閉壓縮。0)

關閉壓縮1

or

2)

啟用壓縮，默認為2（quicklz算法）InfiniDB

–

免優化?

無index?

自動分區?

dba唯一可以做的：sql優化只能調整表的連接次序InfiniDB

–

和其他產品的對比Inforbright社區版?功能：不支持DML?

限制功能的開源Hbase?

Hbase本質上是個key

–多value的構架?

復雜?

擴展性好?

和infinidb是互補的結構infinidb產品特點（總結）產品特點：?

Mysql協議兼容?

全功能，支持dml?

統計類查詢10倍?

Load數據快（每秒>10萬）?

壓縮率5倍（和裸數據比）?

免優化目錄?

背景?

InfiniDB的特點?

Infinidb的實戰InfiniDB

–

社區支持問題現在支持比較差，未來前景比較好?

（現狀）文檔和問題資料比較少?

2000

年公司，發布產品?

2013.10月，支持hadoop文件系統?

2014.10月公司倒閉?

2014.10月

mariadb接手?

2015.Q1會發布新的版本InfiniDB

–

高可用問題集群版本沒有高可用文檔，但是也許不太穩定單機版本本身不提供高可用???備份/恢復方案+手工補缺少數據

使用lvmDrbd的方案Mysql主從方案不適應（

因為有binlog問題）InfiniDB

–

高可用drbdInfiniDB

–

規范（合適的場景）InfiniDB

–規范（不合適的場景）InfiniDB-兼容

性不支持最新版本mysql

官方的java驅動支持marridb的mysql驅動InfiniDB

–應用類問題?Infinidb數據會混亂?使用最簡單的語法?Infinidb的數據表損壞?重新建立表，然后把數據導回去?大量的delete/load并行容易死鎖?比如一天

84次delete,每次600萬?Infinidb數據量排序大報錯?max_length_for_sort_data?infindb

server本地