バグ #589
ERROR Listener JobProgressListener threw an exception
| ステータス: | 商用リリース | 開始日: | 2015/11/24 | |
|---|---|---|---|---|
| 優先度: | 急いで | 期日: | ||
| 担当者: | 山本 義治 | 進捗 %: | 0% | |
| カテゴリ: | ログ集計 | 作業時間の記録: | - | |
| 対象バージョン: | - |
説明
aggregator.log¶
ERROR Listener JobProgressListener threw an exception
java.util.NoSuchElementException: key not found: 102351
at scala.collection.MapLike$class.default(MapLike.scala:228)
at scala.collection.AbstractMap.default(Map.scala:58)
at scala.collection.mutable.HashMap.apply(HashMap.scala:64)
at org.apache.spark.ui.jobs.JobProgressListener.onStageCompleted(JobProgressListener.scala:78)
at org.apache.spark.scheduler.SparkListenerBus$$anonfun$postToAll$2.apply(SparkListenerBus.scala:48)
at org.apache.spark.scheduler.SparkListenerBus$$anonfun$postToAll$2.apply(SparkListenerBus.scala:48)
at org.apache.spark.scheduler.SparkListenerBus$$anonfun$foreachListener$1.apply(SparkListenerBus.scala:81)
at org.apache.spark.scheduler.SparkListenerBus$$anonfun$foreachListener$1.apply(SparkListenerBus.scala:79)
at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)
at org.apache.spark.scheduler.SparkListenerBus$class.foreachListener(SparkListenerBus.scala:79)
at org.apache.spark.scheduler.SparkListenerBus$class.postToAll(SparkListenerBus.scala:48)
at org.apache.spark.scheduler.LiveListenerBus.postToAll(LiveListenerBus.scala:32)
at org.apache.spark.scheduler.LiveListenerBus$$anon$1$$anonfun$run$1$$anonfun$apply$mcV$sp$1.apply(LiveListenerBus.scala:56)
at org.apache.spark.scheduler.LiveListenerBus$$anon$1$$anonfun$run$1$$anonfun$apply$mcV$sp$1.apply(LiveListenerBus.scala:56)
at scala.Option.foreach(Option.scala:236)
at org.apache.spark.scheduler.LiveListenerBus$$anon$1$$anonfun$run$1.apply$mcV$sp(LiveListenerBus.scala:56)
at org.apache.spark.scheduler.LiveListenerBus$$anon$1$$anonfun$run$1.apply(LiveListenerBus.scala:47)
at org.apache.spark.scheduler.LiveListenerBus$$anon$1$$anonfun$run$1.apply(LiveListenerBus.scala:47)
at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1160)
at org.apache.spark.scheduler.LiveListenerBus$$anon$1.run(LiveListenerBus.scala:46)
履歴
#1 山本 義治 が約9年前に更新
プロセス再起動で解決
[root@agg1 x-generation-aggregator]# ps ax | grep aggre 559 pts/1 S+ 0:00 grep aggre 21418 ? Sl 5794:14 /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.36.x86_64/bin/java -cp /home/spark/x-generation-aggregator/target/pack/lib/* -Dprog.home=/home/spark/x-generation-aggregator/target/pack -Dprog.version=1.0 jp.ihearts.XGenerationAggregation.LogAggregator [root@agg1 x-generation-aggregator]# kill -9 21418 [root@agg1 x-generation-aggregator]# target/pack/bin/aggregator > aggregator.log 2>&1 &
過去ログ集計されないので手動集計が必要
#3 山本 義治 が約9年前に更新
https://issues.apache.org/jira/browse/SPARK-3882
spark1.1でfixされているらしい。
#4 山本 義治 が約9年前に更新
- ステータス を 進行中 から 商用リリース に変更
spark1.3〜はreactivemongo0.11〜必須
http://reactivemongo.org/documentation.html
reactivemongo0.11〜saveメソッド廃止
ソース改修が必要
mongo-hadoop-connectorか？
とりあえず依存のないspark1.1.1を使用