カテゴリー : JavaScript

[JavaScript] jsdom memory leak (メモリリーク)

Node.js で jsdom を利用して数万件のウェブページをスクレイピングしたところ out of memory エラーが発生しました。

Node.js のエラーメッセージ

FATAL ERROR: CALL_AND_RETRY_2 Allocation failed - process out of memory

jsdom のメモリリーク解決方法

jsdom.env メソッドに渡す callback メソッドの中で使用した window オブジェクトに関連するメモリを解放するために window.close() メソッドを呼ぶ必要があるそうです。

jsdom.env(html, function (errors, window) {
  // free memory associated with the window
  window.close();
});

ドキュメントに書いてある通りに使わないとダメだなぁと痛感しました・・・。


参考情報

tmpvar/jsdom

jsdom and node.js leaking memory – Stack Overflow

javascript – Memory leak in Node.js scraper – Stack Overflow

[JavaScript] merge recursive なメソッド

JavaScript で merge recursive なメソッドは lodash.merge を使うのが良さそう。

_.merge – Lo-Dash documentation

説明とかはここには書かないので、参考情報を読むといいですよ。


参考情報

underscore.jsだと再帰的にマージできないのでlodashを使う – Labo Memo

[JavaScript][BigDecimal] java.lang.RuntimeException: Unknown call signature for obj = new java.math.BigDecimal: object

JavaScript の bigdecimal.js ライブラリを使うときに数値じゃない値でインスタンス生成しようとすると例外が投げられるみたいです。

var bigdecimal = require("bigdecimal");
var obj = {};
 
new bigdecimal.BigDecimal(obj);
// java.lang.RuntimeException: Unknown call signature for obj = new java.math.BigDecimal: object

new bigdecimal.BigDecimal() の引数に渡す値はちゃんとチェックしてあげましょうというお話でした。


参考情報

how do i set a math context? · Issue #1 · iriscouch/bigdecimal.js

[JavaScript] java.lang.ArithmeticException: Non-terminating decimal expansion; no exact representable decimal result

JavaScript で浮動小数を計算する npm モジュール bigdecimal.js で、割り算を行う divide メソッド使ったらエラー出た。

java.lang.ArithmeticException: Non-terminating decimal expansion; no exact representable decimal result

割り算の結果が、循環小数になる場合のエラーみたいです。

対応方法としては、循環小数になったときの処理を divide メソッドの第2、第3引数にしていしてあげればOKです。

var bigdecimal = require("bigdecimal");
 
// (1) 割り算の結果が、循環小数になるエラーの例
var one = new bigdecimal.BigDecimal(1);
var three = new bigdecimal.BigDecimal(3);
one.divide(three);
// java.lang.ArithmeticException: Non-terminating decimal expansion; no exact representable decimal result
 
 
// (2) エラーにならないように対応した例
// 割り算の結果を小数点第3位で四捨五入する場合は下記のような感じ
var HALF_UP = bigdecimal.RoundingMode.HALF_UP();
var result = one.divide(three, 2, HALF_UP);
 
result.floatValue();
// 0.33

ちょっと面倒ですが、厳密に値を扱えるのは良いですね。


参考情報

iriscouch/bigdecimal.js

BigDecimal.divide() 使用時の注意 – 誰も見ませんように(・`ω・´) (`・ω´・)

BigDecimalを使った割り算について – QA@IT

Java BigDecimalで足し算, 引き算, 掛け算, 割り算そして四捨五入する方法 | ホームページ制作のサカエン(墨田区)

[jQuery] .data() で整数が丸められることがあるので .attr() で取得する

jQuery の .data() メソッドで整数の桁数が多いと丸められることがあるので .attr() で取得すべきということを知りました。

jQuery 1.7.2 の場合

<!-- HTML -->
<script src="http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js"></script>
<a href="/xxx" data-id="123456789012345678901234567890" id='link'>Click</a>
> //JavaScript
$('#link').data('id')
1.2345678901234568e+29
 
$('#link').attr('data-id')
"123456789012345678901234567890"

jQuery 1.11.1 の場合

<!-- HTML -->
<script src="http://ajax.googleapis.com/ajax/libs/jquery/1.11.1/jquery.min.js"></script>
<a href="/xxx" data-id="123456789012345678901234567890" id='link'>Click</a>
> //JavaScript
$('#link').data('id')
"123456789012345678901234567890"
 
$('#link').attr('data-id')
"123456789012345678901234567890"

以上です。


参考情報

jQuery.data() | jQuery API Documentation

.attr() | jQuery API Documentation

javascript – Issue with jQuery data() treating string as number – Stack Overflow

意外と要注意 HTML5データ属性とjQuery Data APIの関係まとめ | ゆっくりと…