SQL_duckdb分析nuScenes数据

发布时间 2023-09-27 17:19:11作者: 辰令

使用duckdb来了解数据

  using self-driving car data from the nuScenes dataset,
  and writing Python code to visualize its route, IMU acceleration, and perceived objects.   
 传统方法:
    nuScenes官方提供了一个数据集开发工具nuscenes-devkit,封装了数据读取、索引、可视化等常用操作,可以直接使用pip安装:
      pip install nuscenes-devkit

Python 内容

使用数据库的方式
   # 安装wheel
   pip install wheel
  # 创建wheel分发
  python setup.py bdist_wheel
  # 安装wheel分发的包
   pip install dist/my_package-0.1-py3-none-any.whl	
	  pybind11依赖于python(2.7或3.5+)和C++标准库。pybind11核心功能:pybind11可以将以下C++功能映射到Python
   setuptools_scm是PYPA推荐的一个自动管理Python包版本号的工具,是setuptools的一个插件	  
命令行执行.py文件时有两种加载方式:
   python xxx.py与python -m xxx
 直接启动:把run.py文件所在的目录放到了sys.path属性中。
 模块启动:输入命令的目录(也就是当前路径) 把也就是当前路径放到了sys.path属性中

1.下载数据

Loading data   

查询数据

 query = "SELECT class_name,COUNT(*) as count FROM annotations GROUP BY class_name ORDER BY count DESC"
 res = duckdb.query(query).df() 
 res.plot.bar(x="class_name", y="count", legend=False);	 

Data Visualization

robotic数据可视化
   1.桌面应用  rviz是一款三维可视化工具,很好的兼容了各种基于ROS软件框架的机器人平台  
   
   2.Web-based。基于Web技术
    基于web的RViz实现版本,目前主要有WebViz和FoxGlove两个,都是Cruise是一家做自动驾驶的美国初创公司来维护的
    新颖的Web渲染技术,如WebGL和WebAssembly	 

参考

https://github.com/foxglove/studio
https://colab.research.google.com/github/foxglove/jupyter-data-platform/blob/main/FoxgloveDataPlatform.ipynb