thrift在hive中的應(yīng)用 ? ORATEA

thrift在hive中的應(yīng)用

hadoop
添加評(píng)論

六 27 2011

thrift是一種可伸縮的跨語言服務(wù)的發(fā)展軟件框架。

它結(jié)合了功能強(qiáng)大的軟件堆棧的代碼生成引擎，以建設(shè)服務(wù)，工作效率和無縫地與C + +，C#，Java，Python和PHP和Ruby結(jié)合。

thrift是facebook開發(fā)的，我們現(xiàn)在把它作為開源軟件使用。thrift允許你定義一個(gè)簡單的定義文件中的數(shù)據(jù)類型和服務(wù)接口。

以作為輸入文件，編譯器生成代碼用來方便地生成RPC客戶端和服務(wù)器通信的無縫跨編程語言。

對(duì)于thrift的詳細(xì)介紹見： http://thrift.apache.org/

thrift在hive中有好幾處應(yīng)用，目的都是為了實(shí)現(xiàn)跨語言的服務(wù)。

最近詳細(xì)的看了在metadata模塊中的thrift應(yīng)用。

metadata中thrift定義文件為\hive-0.6.0\src\metastore\if\hive_metastore.thrift，

該文件詳細(xì)定義了hive元數(shù)據(jù)的各個(gè)結(jié)構(gòu)，以及相應(yīng)的方法。

還是拿database來舉例，對(duì)于database的結(jié)構(gòu)定義如：

struct Database {

? 1: string name,

? 2: string description,

? 3: string locationUri,

}

對(duì)database的方法定義在service ThriftHiveMetastore extends fb303.FacebookService中，主要有以下幾個(gè)：

? void create_database(1:Database database) throws(1:AlreadyExistsException o1, 2:InvalidObjectException o2, 3:MetaException o3)

? Database get_database(1:string name) throws(1:NoSuchObjectException o1, 2:MetaException o2)

? void drop_database(1:string name, 2:bool deleteData) throws(1:NoSuchObjectException o1, 2:InvalidOperationException o2, 3:MetaException o3)

? list<string> get_databases(1:string pattern) throws(1:MetaException o1)

? list<string> get_all_databases() throws(1:MetaException o1)

?

定義好了metadata的thrift文件后，就可以通過thrift產(chǎn)生相應(yīng)的腳本文件，

在build.xml中對(duì)于該編譯命令為：

? <target name=”thriftif”>

??? <echo>Executing thrift (which needs to be in your path) to build java metastore APIs…. </echo>

??? <exec executable=”thrift”? failonerror=”true” dir=”.”>

????? <arg line=”–gen java:beans –gen cpp –gen php –gen py -I ${basedir}/../service/include/ -o ${src.dir} if/hive_metastore.thrift ” />

??? </exec>

? </target>

?

當(dāng)然我們也可以手工進(jìn)行：

thrift –gen java:beans –gen cpp –gen php –gen py -I ${basedir}/../service/include/ -o ${src.dir} if/hive_metastore.thrift

執(zhí)行后就會(huì)產(chǎn)生

drwxr-xr-x 2 hjl hjl?? 4096 May 27 08:25 gen-cpp

drwxrwxr-x 3 hjl hjl?? 4096 May 27 08:27 gen-javabean

drwxr-xr-x 3 hjl hjl?? 4096 May 27 08:25 gen-php

drwxr-xr-x 3 hjl hjl?? 4096 May 27 08:25 gen-py

下面幾個(gè)腳本，對(duì)應(yīng)著c++,java,php和python。

hive-0.6.0中使用的thrift版本為r790732，如果使用相同的thrift版本會(huì)產(chǎn)生和官方hive版本相同的文件，

而采用不同版本的thrfit的話，那么產(chǎn)生的各種文件會(huì)有些差距。

thrift在hive中的應(yīng)用