Hadoop Note

Scala

• 命令行参数解析

Python

• 编码问题处理

Spark

读写

• spark读写hbase
• spark读取小文件
• spark读取AWS S3单个文件

问题

• Spark读csv多行问题
• Spark Task not serializable