URLを指定して、Web上のテキストデータを取得する事が出来ます。詳細設定で接続タイムアウトと接続時のHTTP_USER_AGENTを指定することが出来ます。
データのダウンロード前に、取得するリソースのタイプを判別します。下記に該当しない場合は、有効なテキストデータでは無いと判断します。
・text/html
HTMLデータであると判断し、 HTML解析が有効になっていれば、HTMLをテキスト化します。HTML解析をしない場合は 外部フィルタの *.html が有効になります。smoopy_web.html として保存されます。
プレーンテキストであると判断し、テキスト文章として読み込みます。smoopy_web.txt として保存されます。
|