鎌形システムエンジニアリング
  • Home
  • About
  • Services
    • kintone 開発
    • IT系英日翻訳
    • Webページ情報抽出ツール開発 | スクレイピングツール
    • 勤怠表管理
  • Contact
  • BLOG

Webページ情報抽出ツール
開発

(スクレイピングツール)

​【サービス概要】

特定のWebページから指定HTML情報を抽出し、
​ローカル保存するツールを開発致します。
画像

【ツール形式】

  • Node.jsによるコマンドライン形式
  • アクセスURL、保存形式等の実行条件を
    ​設定ファイルで指定(変更可能)

画像

【機能一覧】

1.複数Webページの情報を一括取得

2.シナリオ実行

URLが異なる以下のようなページの一括取得が可能​​。
http://www.aaa.com/A.html、http://www.bbb.org/B.html....​
Aページにリクエスト後、リンクをクリックしてA2ページへ遷移し、情報取得を実施する等が可能。
画像

3.特定リクエストの順次実行及び

​インターバル指定

4.特定リクエストのパラレル実行及び

​同時実行数指定

以下のURLでパラメータを替えて順次実行して取得したい等の対応が可能。
​その際、1リクエスト実行後にインターバル秒数も指定可能。
​http://www.aaa.com/foo?id=1
以下のURLでパラメータを替えて順次実行して取得したい等の対応が可能。その際、1リクエスト実行後にインターバル秒数も指定可能。
​http://www.aaa.com/foo?id=1
画像

5.多数の保存形式に対応

6.処理状況のコンソール出力

ログファイル出力

CSV、TSV、JSON、MongoDB
その他のRDBも対応可能(要カスタマイズ)
log4js設定ファイルにより出力レベルやメッセージ形式変更可能。
メール送信も対応可能。(要カスタマイズ)
画像

【価格】

画像
6,250円(税別)
※その他カスタマイズが必要な場合は料金別途。​

【納期】

1週間
※場合によってはそれ以上お時間頂く場合もございます。
画像

【注意事項】

  • 当ツールはNode.jsのcheerio-httpcliを使用したものです。SPAページのJavaScript実行後のリクエスト等には対応できません。
  • 要素の指定にid属性、class属性等CSSセレクターを使用しますが、idやclassが動的に変更されるページはスクレイピングできません。
  • スクレイピングを明示的に禁止しているサイトは対応できません。
  • 上記以外の保存形式が必要な場合は別途カスタマイズが必要です。(料金別途)
  • 処理状況はデフォルトでコンソール及びログファイルに出力されます。メッセージ形式は以下の形式になります。変更可能です。
    [YYYY-MM-DDTHH:mm:ss.mi] [DEBUG/INFO/ERROR] (hashvalue) - (メッセージ内容)
  • その他のカスタマイズについてもご相談承ります。(料金別途)
画像

    【お問い合わせ・ご注文】

    フルネームで記載ください。 法人のお客様は、法人名とご担当者名を合わせて記載ください。
    必ずご連絡のつくメールアドレスをご指定ください。

    お問い合わせに関して

    ご注文に関して

    ツールに関するお問い合わせの場合は、以下に記載ください。
    デフォルト機能以外に欲しい機能のカスタマイズ等のご相談も承ります。
    ツールのご注文の場合は、以下に内容を記載ください。
    複数記載可能。1行に1つURLを記載ください。
    リクエストURL毎に抽出内容を記載ください。詳細内容は後ほどお伺いする形でも構いません。
    初期設定で保存する形式を選択ください。方式は設定ファイルにて変更可能です。
    補足事項やその他カスタマイズが必要な場合、ご相談などあれば記載ください。
送信
Site powered by Weebly. Managed by kamagata System ​Engineering
  • Home
  • About
  • Services
    • kintone 開発
    • IT系英日翻訳
    • Webページ情報抽出ツール開発 | スクレイピングツール
    • 勤怠表管理
  • Contact
  • BLOG