如何分析网页的 XHR 的 URL

如题，最近工作跟爬虫有关，有一部分是从网页的特定 XHR 中获得数据。想写一个通用的程序来实现，Java 语言。老大给我的方向是分析各个需要爬虫的网站的 xhr 的 url，但我看的一些网页中 url 的规律都不同，实在很困扰，特来求助，谢谢大家。