最近学习了ffmpeg关于filter过滤器的开发，关于中间的几个相关概念，我们先放在简单介绍一下：
AVFilterGraph:几乎完全等同与directShow中的fitlerGraph,代表一串连接起来的filter们.
AVFilter:代表一个filter.
AVFilterPad:代表一个filter的输入或输出口,等同于DShow中的Pin.只有输出pad的filter叫source,只有输入pad的tilter叫sink.
AVFilterLink:代表两个连接的fitler之间的粘合物.
然后分别看下各自的结构定义
1，过滤器结构体定义：
1 1 struct AVFilter{ 2 2 const char * name；//过滤器名称。 3 3 4 4 const char * description；//过滤器说明。 5 5 6 6 const AVFilterPad * inputs；//输入列表，由零元素终止。 7 7 8 8 const AVFilterPad * outputs；//输出列表，由零元素终止。 9 9 1010 const AVClass * priv_class；//私有数据类，用于声明过滤器私有AVOptions。 1111 1212 int flags； //AVFILTER_FLAG_ *的组合。 1313 1414 int(* init )(AVFilterContext *ctx)；//过滤初始化函数。 1515 1616 //应该通过想要将AVOptions的字典传递给在init中分配的嵌套上下文的过滤器来设置而不是init。 1717 int(* init_dict )(AVFilterContext *ctx, AVDictionary **options)； 1818 1919 //过滤器在其输入和输出上支持的查询格式 2020 void(* uninit )(AVFilterContext *ctx)； 2121 2222 //要为过滤器分配的私有数据的大小 2323 int priv_size； 2424 2525 //avfilter的附加标志仅供内部使用。 2626 int flags_internal； 2727 2828 // 由过滤器注册系统使用。 2929 struct AVFilter * next； 3030 3131 // 使过滤器实例处理一个命令。 3232 int(* process_command )(AVFilterContext *, const char *cmd, const char *arg, char *res, int res_len, int flags)； 3333 3434 //过滤初始化函数，替代init（）回调。 3535 int(* init_opaque )(AVFilterContext *ctx, void *opaque)； 3636 3737 //过滤器激活函数。 3838 int(* activate )(AVFilterContext *ctx); 3939 }
2，过滤器输入输出pad结构体AVFilterPad介绍
1 1 struct AVFilterPad { 2 2 //过滤器pad名称 3 3 const char *name; 4 4 //pad元素的媒体类型，音频或者视频 5 5 enum AVMediaType type; 6 6 7 7 //获取视频缓存帧数据的回调函数，只能用于input video pad，如果这个用户没有定义，就会指派一个默认的回调函数 ff_default_get_video_buffer(). 8 8 AVFrame *(*get_video_buffer)(AVFilterLink *link, int w, int h); 9 9 1010 //获取音频缓存帧数据的回调函数，只能用于input audio pad，如果这个用户没有定义，就会指派一个默认的回调函数 ff_default_get_audio_buffer(). 1111 AVFrame *(*get_audio_buffer)(AVFilterLink *link, int nb_samples); 1212 1313 //过滤器回调函数，这个是当一个过滤器收到一个音频或者视频帧数据，然后调用这个回调函数进行处理 1414 int (*filter_frame)(AVFilterLink *link, AVFrame *frame); 1515 1616 //仅用于output pad的poll回调函数,这将返回立即可用的示例的数量。如果下一个request_frame()保证返回一个帧，那么它应该返回一个正值 1717 int (*poll_frame)(AVFilterLink *link); 1818 1919 //仅用于output pad,帧请求回调函数, 2020 int (*request_frame)(AVFilterLink *link); 2121 2222 2323 //link配置回调函数，对于input pad，它主要是做一些link的属性检查，已经更新一些过滤器内部状态，例如自己定义的结构体状态初始化等，可以在这个函数里面做一些必要的操作，而对于ouput pad，他应该会设置width/height信息 2424 int (*config_props)(AVFilterLink *link); 2525 2626 int needs_fifo; 2727 2828 int needs_writable; 2929 }
3，过滤器实例上下文结构体AVFilterContext介绍
1 1 struct AVFilterContext{ 2 2 const AVClass * av_class；//需要av_log（）和过滤常用选项 3 3 const AVFilter * filter；// AVFilter的一个实例 4 4 char * name； //此过滤器实例的名称 5 5 AVFilterPad * input_pads；//数组输入板 6 6 AVFilterLink ** inputs；//指向输入链接的指针数组 7 7 unsigned nb_inputs；//输入板数 8 8 AVFilterPad * output_pads；//输出板阵列 9 9 unsigned nb_outputs；//输出板数量 1010 void * priv； //过滤器使用的私人数据 1111 struct AVFilterGraph * graph；//filtergraph this filter belongs to 1212 int thread_type；//允许/使用的多线程类型。 1313 AVFilterInternal * internal；//libavfilter内部使用的不透明结构。 1414 struct AVFilterCommand * command_queue； 1515 char * enable_str；//启用表达式字符串 1616 void * enable；// 解析的表达式（AVExpr *） 1717 double * var_values；//启用表达式的变量值 1818 int is_disabled；//从最后的表达式评估启用状态 1919 2020 //对于将创建硬件框架的过滤器，设置过滤器应在其中创建的设备。 2121 AVBufferRef * hw_device_ctx； 2222 int nb_threads；//此过滤器实例允许的最大线程数。 2323 unsigned ready；//过滤器的就绪状态 2424 }
对于他们的关系，我们借用一下别人画的这个图：
结合这个图，我们来分析一下，过滤器直接的数据传递是怎么样的，什么样的过滤器需要在AVFilterPad结构体里面定义filter_frame函数来做过滤器应该做的事情，什么时候更加适合考虑把过滤器处理数据的事情放到AVFilter的activate函数里面。
先说一下我个人的理解:针对只有一个输入流的过滤器，直接对过滤器中的唯一的一个帧原始数据进行处理的，例如scale这种的过滤器，我们更加合适把过滤器的事情放到pad里面的filter_frame函数中来处理，而对于将多个输入流的数据进行处理的过滤器，例如overlay(它必须有两个输入数据，main,overlay两层)，他更加适合将数据放到处理过程放入到avfilter的activate函数里面，通过它来调用ff_framesync_activate函数，从而调用FFFrameSync中的on_event处理。