サンプルコードで学ぶ Node.js Webスクレイピング

・2023-12-20:ver 1.1.0。最新の情報に更新。

『Node.js』の導入から、Webスクレイピングの実施まで、サンプルコードを中心に学ぶ本です。

『Node.js』の開発環境の構築、nodeやnpmのコマンドの習得、プロジェクトの作成から始めて、モジュールの利用や作成、ファイルのダウンロードや保存、HTMLのパース、Webブラウザの操作までおこないます。

本書では、以下の知識をまとめています。

・『Node.js』の開発環境の構築。
・「node」や「npm」コマンドの利用方法。
・JavaScriptの駆け足での基礎知識。
・コア モジュール、npmモジュール、自作モジュール。
・require、importの利用。
・「node-fetch」「jsdom」を利用したファイルのダウンロードやHTMLのパース。
・「Puppeteer」を利用したWebブラウザの操作や情報の取得。

データには、84ページの電子書籍(PDF)と、サンプルコードが収録されています。

前書き
第1章　前提知識と開発環境の構築
　　1-1　Node.jsとは
　　1-2　Node.jsのインストール
　　1-3　WindowsでPathが通っていないとき
　　1-4　WindowsでNODE_PATHが設定されていないとき
　　1-5　Visal Studio Codeのインストールと利用
第2章　nodeコマンドとnpmコマンド
　　2-1　nodeコマンド
　　2-2　npmコマンド - 基本
　　2-3　npmコマンド - プロジェクトの作成
　　2-4　npmコマンド - パッケージのインストール
　　2-5　npmコマンド - パッケージのアップデート他
第3章　プロジェクトの作成と実行
　　3-1　プロジェクトの作成
　　3-2　プログラムの作成
　　3-3　プログラムを実行
第4章　JavaScript速習
　　4-1　JavaScriptの勘所
　　4-2　事前知識
　　4-3　変数と定数
　　4-4　数値
　　4-5　文字列
　　4-6　配列とfor文
　　4-7　オブジェクト
　　4-8　分割代入
　　4-9　関数
　　4-10　様々な値とif文
　　4-11　エラー処理
　　4-12　クラス
　　4-13　非同期処理とPromise
第5章　コア モジュールとnpmモジュール
　　5-1　コア モジュール
　　5-2　npmモジュール
　　5-3　import
　　5-4　import形式の中でrequireを使う
第6章　シンプルなアプリケーションの作成
　　6-1　作成するアプリケーションの概要
　　6-2　引数
　　6-3　Windows向けのバッチファイル
　　6-4　openモジュール
　　6-5　サンプル プログラム
　　6-6　サンプル プログラム2
第7章　fsモジュールとpathモジュール
　　7-1　ファイル操作にまつわるモジュール
　　7-2　パスの分解
　　7-3　fsモジュールの3つの系統
　　7-4　ファイルの存在確認
　　7-5　テキスト ファイルの読み込み
　　7-6　テキスト ファイルの書き込み
　　7-7　バイナリ ファイルの読み込み
　　7-8　バイナリ ファイルの書き込み
第8章　自作モジュール
　　8-1　module.exportsとrequire
　　8-2　読み込むモジュールのパスを確かめる
　　8-3　requireでのモジュールの検索
　　8-4　requireでのJSONファイルの読み込み
　　8-5　exportとimport
　　8-6　export default
第9章　ダウンロードとパース
　　9-1　ネットのファイルのダウンロード
　　9-2　HTMLファイルをパース
　　9-3　セレクタ
　　9-4　サンプル プログラム
　　9-5　単純なスクレイピングと複雑なスクレイピング
第10章　Puppeteerを利用したスクレイピング
　　10-1　Puppeteerとは
　　10-2　Puppeteerの導入
　　10-3　Puppeteerの起動
　　10-4　ブラウザを操作して結果を取得
　　10-5　スクリーンショットを撮る
　　10-6　サンプル プログラム
第11章　Puppeteerを利用したフォーム操作
　　11-1　Puppeteerでブラウザを表示する
　　11-2　Pageを利用した自動操縦
　　11-3　Puppeteerでの待機
　　11-4　Puppeteerでの自動入力とクリック
　　11-5　Puppeteerでの自動操縦の問題
　　11-6　サンプル プログラム
後書き