利用Google Custom Search API抓取google搜索内容

在写irc机器人的时候想着做一个google搜索,通过抓包再GET后发现总是会返回302 the document has moved,跟着返回的连接转了一圈又一圈还是没得到什么东西,差点把自己搞崩溃掉。。。。。。
网上一搜倒是搜到了Google API,但是google却怎么也找不到这个东西在哪,只能看到网上有人说它存在,在google了半天未果后,我决定,”这贷肯定已经被google抛弃了,这贷是个过去式。。。。。。。,另寻它法吧”
果不其然,Google Custom Search出现在我眼前,(虽然之前都是把它屏蔽掉的- -),点进去简单地看了介绍后发现可以用它来完成google搜索,于是按着Getting Started with the API往下做,结果真的成功了,虽然途走了不少弯路。。。。。。

好吧,下面我简单地介绍下怎么用这个或者你可以忽略以下内容,自己按着Getting Started with the API去做
首先,你当然需要有一个google帐号,这个不用说了吧,自己去注册一个
然后我们就去创建一个
APIs project

利用Google Custom Search API抓取google搜索内容 - 枯龙吟 - 枯龙吟
点击Create Project然后不出意外会出来个类似这样的网页(如果出意外了怎么办?什么!自求多福吧- -)

利用Google Custom Search API抓取google搜索内容 - 枯龙吟 - 枯龙吟

或者你没看到这样的网页但是你看到了类似左面的那排,只要点击Services就可以了
这里我们可以看见有很多东西我们可以用,当然这篇文章说的是Custom Search API,你看到了吗?是的,在后面点击变成ON就可以了
然后成功后我们的左面的内容会有些许变化,记住这个网页,我们等会要用
现在我们要设置搜索引擎https://www.google.com/cse/
然后我们进行创建

利用Google Custom Search API抓取google搜索内容 - 枯龙吟 - 枯龙吟
这里你能想到多少就多少,如果你想要从更多的地方搜索的话就填多点
创建后我们可以通过public URL测试下我们设置的搜索
点击getcode会得到一个代码,你可以把它嵌入到你的网页中,这样来使用google搜索
这里我不说
https://www.google.com/cse/manage/all
我们点击我们设置的搜索找到Search engine ID按钮,我们点击它,然后将下面的内容复制下面并保存
这是后面GET要用的参数之一cx
现在我们回到之前的网页,我可是说过的哦,别关闭它
点击左边的API Access你会看到一个API key,复制并保存它,它是我们GET要使用的另一个参数
好了,一切都已经准备完毕,接下来的就只需要使用GET请求了,GET请求的方法大概是这样的

{parameters}可以看向这里Using REST to Invoke the API
这里我放出一个我使用的GET请求方法

https://www.googleapis.com/customsearch/v1?key=AIzaSyCn_IE6NM_ATjZ0j5vfXIFlyW-EpGs5gsU&cx=006431901905483214390:i3yxhoqkzo0&num=1&alt=atom&q=hello+world

key=就是我要你复制的API key,这个很重要的
cx=是我上面要你复制的内容,还记得吗
num=1表示返回结果的数量,由于我做的是irc的机器人,没有想返回太多的结果,所以只返回了一个结果
alt=atom表示返回结果的结构,这个还有个json的方式,大家自己选择
q=hello+world当然是要搜索的关键字了,记住空格使用+代替
好了这样就一切都好了
下面是我将此使用到我的bot的一张截图

利用Google Custom Search API抓取google搜索内容 - 枯龙吟 - 枯龙吟

至于我都拿这个bot搜索什么了大家就无视吧。。。。。
哎,人生如此无聊,我竟然和自己写的机器人玩了半天。。。。。。

 

 

–阅读次数(30)

发表评论

电子邮件地址不会被公开。

*