サポート #743

web集計処理負荷対策

山本 義治 がほぼ9年前に追加. ほぼ9年前に更新.

ステータス:新規開始日:2016/03/30
優先度:通常期日:
担当者:山本 義治進捗 %:

0%

カテゴリ:ログ集計作業時間の記録:-
対象バージョン:-

説明

・ブラウザアクセスできない nginx 502/bad request
・集計されていない
・CPU負荷高い

履歴

#1 山本 義治 がほぼ9年前に更新

[admin@web1 ~]$ top

top - 11:23:54 up 158 days, 19:22,  1 user,  load average: 9.70, 9.11, 7.46
Tasks: 126 total,   1 running, 125 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7%us,  0.0%sy,  0.0%ni, 66.1%id, 32.9%wa,  0.0%hi,  0.0%si,  0.3%st
Mem:   1922072k total,  1868804k used,    53268k free,     4404k buffers
Swap:  2097148k total,  1165148k used,   932000k free,    22420k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                       
    4 root      20   0     0    0    0 S  0.3  0.0   0:57.74 ksoftirqd/0                                                                                                                                    
30793 root      20   0 1191m  84m 4984 D  0.3  4.5   7:02.39 node /var/www/x                                                                                                                                
31440 root      20   0 2154m 907m 3488 D  0.3 48.3  78:55.29 node /var/www/x               

[root@web1 admin]# pm2 list
┌─────────────┬────┬──────┬───────┬────────┬─────────┬────────┬──────────────┬──────────┐
│ App name    │ id │ mode │ pid   │ status │ restart │ uptime │ memory       │ watching │
├─────────────┼────┼──────┼───────┼────────┼─────────┼────────┼──────────────┼──────────┤
│ www         │ 0  │ fork │ 30765 │ online │ 650     │ 5D     │ 106.898 MB   │ disabled │
│ aggregation │ 1  │ fork │ 31440 │ online │ 85      │ 47h    │ 920.879 MB   │ disabled │
│ sync        │ 2  │ fork │ 31447 │ online │ 5       │ 5D     │ 109.414 MB   │ disabled │
│ postback    │ 3  │ fork │ 31604 │ online │ 5       │ 5D     │ 108.547 MB   │ disabled │
│ wwws        │ 5  │ fork │ 30793 │ online │ 1534    │ 5D     │ 87.461 MB    │ disabled │
│ log_sync    │ 6  │ fork │ 31632 │ online │ 4       │ 5D     │ 45.746 MB    │ disabled │
└─────────────┴────┴──────┴───────┴────────┴─────────┴────────┴──────────────┴──────────┘

#2 山本 義治 がほぼ9年前に更新

[root@web1 x-generation]# NODE_ENV=production node cron/aggregation.js 
start aggregateApp() at 2016-03-30 12:16:07
...
end aggregateApp() at 2016-03-30 12:23:22

集計処理7分かかる
↓
集計処理をnode+mongoからspark+redshift or dynamoDBへ移植を検討する

他の形式にエクスポート: Atom PDF