使用Flask流式传输模拟ChatGPT实时响应
许多应用,例如模拟ChatGPT的实时聊天或大型文件下载,都需要边生成边传输数据,避免客户端长时间等待。本文演示如何在Python Flask框架中实现这种流式传输,并修正原代码中的缺陷。
原代码尝试使用yield实现流式传输,但由于response对象在generate()函数结束后才返回,浏览器必须等待所有数据生成完毕才能显示内容,与实时响应预期不符。
问题代码:
from time import sleep from flask import Flask, Response, stream_with_context app = Flask(__name__) @app.route('/stream', methods=['GET']) def stream(): def generate(): for i in range(1, 21): print(i) yield f'this is item {i}\n' sleep(0.5) return Response(generate(), mimetype='text/plain') if __name__ == '__main__': app.run(debug=True)
解决方法:正确使用Flask的stream_with_context装饰器。该装饰器确保每次yield都立即返回数据给客户端,实现真正的流式传输。改进后的代码:
from flask import stream_with_context, request, jsonify @app.route('/stream') def streamed_response(): def generate(): yield 'Hello ' yield request.args.get('name', 'World') # 使用get()避免KeyError yield '!' return jsonify({'message': list(stream_with_context(generate()))}) # 返回JSON格式
stream_with_context包裹了generate函数,使每次yield都立即发送数据。 示例中数据生成简单,实际应用中generate函数可能包含更复杂的逻辑(例如数据库查询或复杂计算),但stream_with_context的作用仍然是确保数据及时传输。 request.args.get('name', 'World')从请求参数获取数据,实现更灵活的流式传输,并使用get()方法处理缺失参数的情况,避免KeyError错误。 最后,使用jsonify将结果封装成JSON格式返回,更适合前端处理。
通过以上改进,可以有效模拟ChatGPT的实时响应效果。
以上就是Flask流式传输如何模拟ChatGPT的实时响应?的详细内容,更多请关注知识资源分享宝库其它相关文章!
发表评论:
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。