基本信息
| Q | A |
|---|---|
| 这个项目属于哪个课程 | 2023数据采集与融合技术 |
| 组名、项目简介 | 组名：喵喵队 项目需求：设计出一个交互友好的多源异构数据的采集与融合的小应用 、项目目标：通过在网页中上传文本、图片、视频或音频分析其中的情感 、项目开展技术路线：前端3件套、Python、flask |
| 团队成员学号 | 102102143、102102140、102102141、102102152、102102117、102102114、102102121、102102132 |
| 这个项目目标 | 通过在网页中上传文本、图片、视频或音频分析其中的情感 |
码云链接
gitee文件夹
项目整体介绍：
项目名称：多模态情感分析系统
项目背景：在当前的数字化时代，情感分析在各种应用中变得越来越重要，如客户服务、市场分析和社交媒体监控。多模态情感分析能够提供比单一模态更丰富、更准确的情感识别和分析。
项目目标：开发一个多模态情感分析系统，能够处理和分析文本、图片、音频和视频数据，从而提供综合的情感分析结果。
技术路线：
-
前端开发：
-
使用HTML、CSS和JavaScript进行界面设计，实现用户与系统的交互。
-
通过用户给出的bv号进行查询
-
-
后端开发：
-
使用Python进行后端逻辑的编写。
-
利用Flask搭建简易后端框架。
-
-
数据处理与分析：
-
文本分析：调用华为云NLP情感分析API。
-
视频分析
- 提取视频中的音频部分。
- 对提取的音频进行分析，使用同音频分析的方法。
-
音频分析
- 使用openai开源的whisper进行音频分析。
- 对上传的音频文件进行特征提取和情感识别。
-
-
结果输出与展示：将分析结果通过前端界面展示。
最终效果：
通过在本地上传文件进行分析并且得到结果
个人分工
在这次的实践中我和吕铭讯同学负责编写后端代码，实现了一个基于Flask框架的web API，这个API主要功能是调用小组成员的编写好各个函数代码，接收POST请求，从请求中获取bilibili视频的bv号，然后爬取该视频的弹幕、评论、封面和视频文本，对这些数据进行自然语言处理（NLP）和情感分析，并返回处理结果，实现与前端的对接。
部分代码：
from flask import Flask, request, jsonify
from getdm import Crawler_Bilibili_Danmu
from hwNLP_ljx import HW_NLP
from hwNLP_ljx import SentimentAnalysis
from t import get_comment,get_cover
from getvideo import get_bilibili_video
app = Flask(__name__)
@app.route('/api/', methods=['POST'])
def dm():
c = Crawler_Bilibili_Danmu()
data = request.get_json()
bv = data.get('bv')
if bv is not None:
dm = c.search_dm_from_bv(bv)#弹幕
comment = get_comment(bv)#评论
cover = get_cover(bv)#封面
video_text = get_bilibili_video(bv)
nlp = HW_NLP()
r = nlp.nlp_fromList(dm) # r是弹幕的nlp
r2 = nlp.nlp_fromList(comment) # r2是评论的nlp
r3 = nlp.nlp_fromList(video_text) #r3 是音频文本的nlp
sentiment_analysis = SentimentAnalysis()
c.reinit()
return jsonify(dm,c.jiebaRank(),r,sentiment_analysis.analyze_result(r),comment,cover,r2,sentiment_analysis.analyze_result(r2),video_text,r3,sentiment_analysis.analyze_result(r3))
else:
return "Invalid request",400
if __name__ == '__main__':
app.run(debug=True)
部分截图
心得体会
102102114 方赞
和吕铭讯一起做后端开发，是一次收获颇丰的经历。我们两个人相互协作，共同面对挑战，取得了许多成果。在开发过程中，我们始终保持沟通，确保彼此理解需求和目标。我们共同制定计划，分配任务，并确保按时完成。我们注重代码质量和可维护性，编写清晰、简洁的代码。又在一个项目中写好了后端，对后端的理解更深刻了。这次数据采集实践项目让我收获颇丰，通过与吕铭讯的合作，我深刻认识到团队合作、代码质量、测试和调试的重要性。这些经验将对我的职业生涯产生积极的影响，并帮助我在未来的项目中取得更好的成果。