カテゴリー : Node.js

[Node.js] npm package の実行ファイルは node_modules/.bin にシンボリックリンクで存在する

Node.js で npm install した package の実行ファイルは node_modules/.bin ディレクトリ配下にシンボリックリンクが自動作成されます。

npm logo

(例) とある node_modules/.bin 配下

$ ls -l ./node_modules/.bin
lrwxr-xr-x  1 codenote  staff  22 Apr 21 18:11 express -> ../express/bin/express
lrwxr-xr-x  1 codenote  staff  22 Apr 21 18:11 grunt -> ../grunt-cli/bin/grunt
lrwxr-xr-x  1 codenote  staff  16 Apr 21 18:11 jade -> ../jade/bin/jade
lrwxr-xr-x  1 codenote  staff  21 Apr 21 18:12 npm -> ../npm/bin/npm-cli.js

Node.js で開発して4年以上も経つのに知らなくて、自分でもびっくりしました。

ちなみに、モジュールにコマンドが用意されていた場合のみ /path/your_project/node_modules/.bin にシンボリックリンクが作成されます。

Mongoose documents を JSON に変換して response を返す

Express.js + Mongoose で documents を JSON に変換して response を返すには、

UserModel.find().lean().exec(function (err, users) {
  return res.json(users)
});

というような感じで lean() オプションを付けて plain javascript object を取得した値を res.json で返せばよいです。


参考情報

[Node.js] CSVTOJSON を使って CSV から JSON ファイルに変換する

CSVTOJSON という npm モジュールを利用して、CSV を JSON ファイルに変換するスニペットをご紹介します。

csvtojson をインストールする

npm install -g csvtojson

csvtojson を使って CSV から JSON ファイルへ変換する

var Converter=require("csvtojson").Converter;
var csvConverter = new Converter({
  constructResult: false,
  toArrayString: true
});
 
var pathName = "/Users/bakorer/Downloads/";
var readStream = require("fs").createReadStream(pathName + "sample.csv");
var writeStream = require("fs").createWriteStream(pathName + "sample.json");
 
readStream.pipe(csvConverter).pipe(writeStream);

以上です。

[Mongoose] index が未作成な field を sort に指定して stream で取得すると default batchSize だけ処理して正常終了するので困った

Mongoose で index が作成されていない field を sort に指定して stream で取得すると、 default batchSize の 1000 件だけ処理して正常終了するので困ったというお話です。

find() で全件一括取得するケース

find() で全件一括取得すると callback の第一引数 err には値は入らず、配列の末尾の要素に $err, code が含まれていました。

User.find().sort({
  createdAt: -1
}).setOptions({
  noCursorTimeout: true
}).exec(function(err, docs) {
  console.log(err);
  console.log(docs.length);
  console.log(docs[docs.length - 1]);
 
/**
以下、console.log の出力結果
 
null
1001
{ '$err': 'getMore runner error: Overflow sort stage buffered data usage of 33555763 bytes exceeds internal limit of 33554432 bytes',
  code: 17406,
...
**/
});

stream() で全件取得するケース

stram() で取得する場合も同じで、最後に取得した document に $err, code が含まれていました。

var stream = User.find()
.sort({ createdAt: -1 })
.setOptions({ noCursorTimeout: true })
.stream();
 
stream.on('data', function(user){
/**
default batchSize 1000 件だけ取得して、1001 件目に $err, code を含むデータを取得して、正常終了する
{ '$err': 'getMore runner error: Overflow sort stage buffered data usage of 33555763 bytes exceeds internal limit of 33554432 bytes',
  code: 17406,
...
**/
});
 
stream.on('error', function(err){
  // エラーイベントは呼び出されない
});

解決方法

sort に指定する field の index を作成する

index が作成されていないのが元々の問題なので、index 作成すれば解決します。

User.path('createdAt').index(true);

index が存在する field を sort に指定する

index size が気になるので作成したくないという場合は、default で用意されている _id を sort に指定する対応でもいいと思います。

User.find().sort({
  _id: -1
}).setOptions({
  noCursorTimeout: true
}).exec(function(err, docs) {});

所感

document が 1000 件しか取得できてないことに気付かない限り、エラーが発生していることに気付けないので Mongoose のエラーハンドリングの実装が微妙なのでは…


参考情報

Node.js のバージョンを自動で切換えてくれる avn

Node.js のバージョンを自動で切換えてくれる npm モジュール avn を使ってみました。(最終更新日 2017/04/15)

avn, avn-nvm, avn-n をインストール&セットアップ

$ npm install -g avn avn-nvm avn-n
$ avn setup
avn: profile setup complete (~/.zshrc)
avn: profile setup complete (~/.bash_profile)
avn: restart your terminal to start using avn
avn: configuration complete (~/.avnrc)
avn: installation complete
avn-n: installation complete
avn-nvm: installation complete

avn で Node.js のバージョンを切換えてみる

.node-version ファイルが存在するディレクトリに移動すると avn が自動的に Node.js のバージョンを切換えてくれます。

.node-version のサンプル

v6.10.2
$ cd ~/works/my_project
avn activated v6.10.2 (avn-nvm v6.10.2)

nvm の元となる rvm だと自動的に Ruby のバージョンを切換えてくれていたので、それと同じような挙動をしてくれるようになるのは嬉しいですね。

[Node.js] Error: spawn ENOENT の解決方法

Node.js の child_process.spawn で Error: spawn ENOENT というエラーが発生したときの解決方法をご紹介します。

Node.js

結論から書くと child_process.spawn の第一引数に渡していた path に実行するコマンドがないというのが原因でした。

今回のケースだと ImageMagick コマンドです。

続きを読む

[Node.js] module.exports と exports の違い

結論だけ書いておくと、よく分からないなら module.exports を使いましょう。

Node.js の公式ドキュメント にもそう書いてあります。

ガイドラインとして、もし exports と module.exports の間の関係が魔法のように 見えるなら、exports を無視して module.exports だけを使うようにしてください。

module.exports と exports の違いについて詳しく知りたいって方は下記の記事を読むといいんじゃないでしょうか。

今、ドットインストールの「Express入門」を Mac で学習するための覚え書き

今、ドットインストールの「Express入門」を Mac で学習するための覚え書きです。

「Express入門」を学ぶ前提

ドットインストールの「Express入門」は Express3 の前提でレッスンが用意されています。しかし、現在は Express4 がリリースされているので、何も考えずに進めていくと Express4 がインストールされてしまい思うようにレッスンを進めていくことができません。

このようなつまづきポイントがいくつかあるので、本記事ではそれらを補足していきます。

#01 Expressとはなにか?

まず、Node.js のバージョン管理ツール nvm を Mac にインストールする方法 を参考にしてインストールして、Node.js もインストールします。

そして、レッスン内では、

sudo npm install express -g

と書かれていますが、これを下記のように Express3 のバージョンを指定してインストールしましょう。

npm install express@3.21.2 -g

#03 はじめてのExpress

レッスン内では、

npm install express

と書かれていますが、これも下記のように Express3 のバージョンを指定してインストールしましょう。

npm install express@3.21.2

また、ブラウザからアクセスするには 192.168.33.93:3000 を入力するとなっていますが、Mac のターミナルで node app している場合 localhost:3000 もしくは 127.0.0.1:3000 を入力することで、アクセスできます。

#07 middlewareを作ってみよう

このレッスンでも、

sudo npm install nodemon -g

と sudo 使わずに、

npm install nodemon -g

で大丈夫です。

以上です。Mac で「Express入門」を学習する方のお役に立てたなら嬉しいです。

[Node.js] Mongoose の virtual attributes を sinon で stub 化する

Mongoose の virtual attributes を sinon で stub 化する方法をご紹介します。

まず、下記のような Product model が定義されているとします。

# define Mongoose Product model
mongoose = require 'mongoose'
 
productSchema = new mongoose.Schema({
  # something
})
 
productSchema.virtual('discountPercentage').get ()->
  # calculate discountPercentage
  return discountPercentage
 
Product = mongoose.model 'Product', productSchema

そして、テストコードで discountPercentage virtual をスタブ化するコードは下記のような感じです。

# in test code
sinon = require 'sinon'
 
product = new Product()
 
console.log product.discountPercentage
# discountPercentage virtual の計算結果を返す
 
stub = sinon.stub product, 'get'
stub.withArgs('discountPercentage').returns 50
 
console.log product.discountPercentage
# 必ず 50 を返す
 
# 使い終わったら、忘れずに restore しましょう
stub.restore()

ポイントは sinon.stub mongooseInstance, ‘get’stub.withArgs(‘virtualName’).returns の部分で virtualName の返り値をスタブ化しているという点だけです。


参考情報

[Node.js] MONGOOSE WARNING がでないように stable version を使おう

Node.js + Mongoose のアプリ開発で MONGOOSE WARNING という警告メッセージが表示されたら、 unstable バージョンを利用していると思われるので stable なバージョンを使いましょう。

まず、アプリを起動しようとすると !!! MONGOOSE WARNING !!! と派手に怒られます。

$ node-dev app.js     
 
##############################################################
#
#   !!! MONGOOSE WARNING !!!
#
#   This is an UNSTABLE release of Mongoose.
#   Unstable releases are available for preview/testing only.
#   DO NOT run this in production.
#
##############################################################
 
Error: Cannot find module 'knox'
    at Function.Module._resolveFilename (module.js:338:15)
    at Function.Module._load (module.js:280:25)
    at Module.require (module.js:364:17)
    at require (module.js:380:17)
    at Object.<anonymous> (/Users/bakorer/works/myapp/routes/admin/content.js:5:12)
    at Module._compile (module.js:456:26)
    at Module._extensions..js (module.js:474:10)
    at Object.nodeDevHook [as .js] (/Users/bakorer/.nvm/v0.10.28/lib/node_modules/node-dev/lib/hook.js:43:7)
    at Module.load (module.js:356:32)
    at Function.Module._load (module.js:312:12)
[ERROR] 10:45:41 Error

package.json に “mongoose”: “^3.8.13”, と記述されていたので npm install したら Mongoose version 3.9.7 がインストールされておりました。

$ npm list | grep mongoose
├─┬ mongoose@3.9.7 invalid
├─┬ mongoose-file@0.0.2
├─┬ mongoose-paginate@3.1.5
│ └─┬ mongoose@4.0.6
├── mongoose-query-paginate@1.0.1
npm ERR! invalid: mongoose@3.9.7 /Users/bakorer/myapp/node_modules/mongoose
npm ERR! not ok code 0

Mongoose の version を確認して使えそうな stable version に package.json を書き換えて、再度 npm install すれば OK なはず。

$ git diff
 
diff --git a/package.json b/package.json
index e56cf62..6b49881 100644
--- a/package.json
+++ b/package.json
@@ -15,7 +15,7 @@
-    "mongoose": "^3.8.13",
+    "mongoose": "3.8.13",

package.json の書き方は下記のサイトが詳しいので、あわせて読んでおくといいかもです。


参考情報