先日、以下のトピックを投稿いたしました。
当初はDexi.ioでスクレイピングをして、抽出したデータをBubbleに持ってこようとしていました。
方法をご教示いただいたおかげで無事に実装はできたのですが、あとあと確認したところ、私のスクレイピングの規模ですとだいぶDexiの利用料金がかかるようでして、仕方なく別のツール「Octoparse」に切り替えることにしました。
そこで、まずはAPI連携を進めております。
ドキュメント:Octoparse OpenAPIドキュメント
おおまかな流れは以下という認識です。
■①
POSTでhttps://dataapi.octoparse.com/tokenにログイン情報を送信し、アクセストークンを取得する
■②
そのアクセストークンをもとに、GETでOctoparse(タスク)からスクレイピング済みのデータを取得する
①については以下のように実装をし、アクセストークンがうまく取得で来ていると思います。
一番上の「body access token」がアクセストークン(24時間ごとに期限切れ)かと思っています。
このアクセストークンを、いったん一時的にDB(Current User’s access_token)やCustom state(access_token)に保存して、②のところで動的に送りたいと思っています(24時間更新だと思っているので)。
ヘッダーを(動的に変えられると思って)
Bearer [index’s access_token]
や
Bearer [Current User’s access_token]
にしてみたのですがエラーが出てうまくいかず。
そもそもヘッダーが原因なのか、エンドポイントがいけないのかも分からず。。
(スクレイピング実行済みでデータが存在している)タスクのIDを指定して、そこからデータを持ってきたいと考えています。
エンドポイントは以下を参考にしています(うまくいかず、ChatGPTから教えてもらった)。
https://dataapi.octoparse.com/api/Task/GetDataByTaskId?taskId=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
このエラーを解決するにはどうすればよいでしょうか。
ご教示いただけますと幸いです。
いちおう、プランはスタンダードで、APIは問題なく使える状況かと思います。
お手数をおかけしますが、何卒よろしくお願いいたします。