2013年9月12日 星期四

Twitter API:REST API & Streaming API

Twitter API Twitter 提供的一系列Web API服務,提供程式開發人員可以透過這些API來存取Twitter上的tweets,多數以JSON的格式回傳存取的資料,以比較常用的Search APIStreaming API為主,從2013年的3月開始,Twitter API更新為1.1版本,原本獨立的Search APIStreaming API也併入了REST API中,成為眾多API中的其中兩者。

因為1.0版已經全面停用,所以這裡不再提1.0版的用法。

Search API Streaming API 都是到Twitter的資料庫中去撈推文,但是這兩者所撈的資料型態卻有所不同。

1.        Search API: 這個API所存取的資料是Twitter的歷史推文資料,一次最多可以查到100個條目,預設為15

l   REST中的條目是:GET search/tweets (https://dev.twitter.com/docs/api/1.1/get/search/tweets)
l   API的存取URL:  https://api.twitter.com/1.1/search/tweets.json


2.        Streaming API: 這個API所存取的資料就是Twitter最即時的資料,一次最多可以抓400(一筆資料就是一個Stream),說是即時,其實也是送出查詢前的一小段時間到中止抓取資料當時的最後一筆資料
Streaming API分為publicusersite三種,我要介紹的以public為主,user是針對單一使用者的推文,例如針對我VeckHsiao的推文,至於site則是針對特定網站

n   POST statuses/filter – 可以自行定義查詢關鍵字等過濾器的方法
API存取URL: https://api.twitter.com/1.1/statuses/filter.json
n   GET statuses/sample – 直接隨機抓取一小部分範例stream
API存取URL: https://stream.twitter.com/1.1/statuses/sample.json
n   GET statuses/firehose – 抓取所有的stream
API存取URL: https://stream.twitter.com/1.1/statuses/firehose.json
(其實還有兩個,這裡講的是主要常見的三個)

要使用Twitter API存取資料,你需要先到Twitter的開發者頁面:https://dev.twitter.com/ 登入,接著你需要create一個application,這個Application基本上是指你要用來透過Twitter API存取tweets的網站,假如你沒有網站,其實隨便填一個網址就可以了,最重要的不是網站是否存在。



1. 按下create a new application來建立新的應用程式








2. 填寫必要欄位:NameDescriptionWebsite (URL)



3. 同意Rule和輸入驗證碼,按下按鈕就可以建立你的應用程式囉!




4. 成功建立應用程式後的資訊頁面,其中最重要的是consumer keyconsumer secret



5. 你還需要建立OAuth驗證碼才可以用



這裡要說明一下這個OAuth授權機制,OAuth是一個第三方授權的機制,讓Twitter可以發給要使用它們API的第三方應用程式(例如你的網頁)一個access token,讓應用程式可以不需要輸入使用者帳號與密碼,就可以使用API

※ 詳細的OAuth機制可以參考維基百科

事實上Twitter API的認證機制有兩種,一個是Basic Auth,只需要輸入你的Twitter帳號與密碼即可驗證並取得授權;另一個就是OAuth,從1.1版開始,所有的驗證都採用OAuth


6. 按下按鈕以後,頁面最下面就會產生你的Access token資訊,這裡同樣有兩個最重要的資料:Access tokenAccess token secret



NOTE:
1. consumer secretaccess token secret不可以洩漏!
2. 不論是使用Search API或是Stream API,甚至是其他需要授權的API,都需要取得這四個Key

OK!現在你可以開始使用Twitter API來抓Tweets囉!

這些API都有可以自行設定的參數,TwitterWeb API有兩種方法傳送存取的參數:GETPOST,詳細的參數表請參考各API的介紹網頁。
l   Search API: https://dev.twitter.com/docs/api/1.1/get/search/tweets

另外,因為Search APIStreaming API可以自己定義要查詢的term/keyword,所以Twitter還支援Search operator的使用,例如可以用OR來同時找多個關鍵字的Tweetsspace可以將多個單字組合成一個字;AND就是找同時包含多個關鍵字的Tweets…。

有一份針對如何使用Search API 的文件很值得參考:https://dev.twitter.com/docs/using-search

目前為止,Streaming API的關鍵字查詢還不知元中文與日文,例如你不能夠用: 小賈斯汀作為查詢的關鍵字,因為Streaming API的實作是使用空格作為區分字彙的依據,但是中文與日文的書寫習慣中並沒有依據空白來區隔字詞,英文與韓文則有。



沒有留言:

張貼留言