Merge remote-tracking branch 'origin/master'

This commit is contained in:
majintao
2024-08-27 15:33:04 +08:00
5 changed files with 122 additions and 68 deletions
@@ -201,33 +201,37 @@ class DevProcess {
}
def devSplitRoad(){
def i = 0;
def i = 1;
while(i<20){
def fileName = "/home/goojia/gj/qzd-${i}.xlsx"
if(CommonDatautils.isWindow()){
fileName = "D:\\数据\\数据建设\\开发区\\福建省.xlsx"
fileName = "D:\\数据\\数据建设\\名录集\\qzd-${i}.xlsx"
}
File file=new File(fileName);
if(file.exists()){
ExcelUtils.multiThreadingModify(fileName,{d->
if(d['E'] && !d['G']){
def jsonObject1 = com.fangjia.script.gj.district.FangjiaClientUtils.formatNinelevel(d['B'], d['E'])
if(d['C'] && !d['R']){
def jsonObject1 = com.fangjia.script.gj.district.FangjiaClientUtils.formatNinelevel(d['B'], d['C'])
if(jsonObject1) {
if (jsonObject1.get("dev") && jsonObject1.get("dev") != "null") {
def devName = jsonObject1.get("dev")
def obj = findDev(d['B'], devName)
d['F'] = devName
if(jsonObject1.containsKey("detail") && jsonObject1.detail.dev_confi!='null'){
d['U'] = jsonObject1.detail.dev_confi
}
if (obj) {
d['Q'] = obj._id.toString()
d['R'] = obj.name
}
}
}
}
if(d['C'] && !d['S']) {
def jsonObject = com.fangjia.script.gj.district.FangjiaClientUtils.formatNinelevel(d['B'], d['C'])
if(d['E'] && !d['S']) {
def jsonObject = com.fangjia.script.gj.district.FangjiaClientUtils.formatNinelevel(d['B'], d['E'])
def street = jsonObject.get("street")
def streetNumber = jsonObject.get("streetNumber")
if (jsonObject.get("province") && jsonObject.get("province") != "null") {
@@ -256,7 +260,7 @@ class DevProcess {
d['N'] = "信息不完整"
}
if (!d['N'] && !d['C'].contains(road)) {
if (!d['N'] && d['C'] && !d['C'].contains(road)) {
d['N'] = "原地址不含路"
}
@@ -282,11 +286,16 @@ class DevProcess {
d['S'] = obj._id.toString()
d['T'] = obj.name
}
if(jsonObject.containsKey("detail") && jsonObject.detail.dev_confi!='null'){
d['V'] = jsonObject.detail.dev_confi
}
}
}
},0)
i++
}
i++
println fileName+" 完成"
}
}
@@ -33,8 +33,8 @@ class MinglujiData {
def prov = "浙江省"
def city = "嘉兴"
// exportDatas(city)
matchDev(prov, city)
matchCommunity(city)
// matchDev(prov, city)
// matchCommunity(city)
// tempMatchDev(prov)
// saveMljData()
@@ -204,7 +204,7 @@ class MinglujiData {
def fiveLevelSplit(city){
def i = 1;
def i = 2;
while(i<20) {
def fileName = "/home/goojia/gj/mlj_${i}.xlsx"
if (CommonDatautils.isWindow()) {
@@ -335,7 +335,7 @@ class FangjiaClientUtils {
try {
address = address.replace("{","")
// def url = "http://192.168.0.19:31080/FangJiaNlpService/formatFivelevel?address="+URLEncoder.encode(address,"UTF-8")
def url = "http://192.168.0.19:31080/FangJiaNlpService/formatFivelevel?address="+URLEncoder.encode(address,"UTF-8")
def url = "http://192.168.0.100:32080/FangJiaNlpService/formatFivelevel?address="+URLEncoder.encode(address,"UTF-8")
if(city){
url = url +"&city="+URLEncoder.encode(city,"UTF-8")
}
@@ -354,7 +354,7 @@ class FangjiaClientUtils {
def content = null
try {
address = address.replace("{","")
def url = "http://192.168.0.93:8080/FangJiaNlpService/formatNinelevel?address="+URLEncoder.encode(address,"UTF-8")+"&complete=false&useMap=false&addressAssessment=true"
def url = "http://192.168.0.93:8080/FangJiaNlpService/formatNinelevel?address="+URLEncoder.encode(address,"UTF-8")+"&complete=false&useMap=false&addressAssessment=true&fields=dev_confi"
if(city){
url = url +"&city="+URLEncoder.encode(city,"UTF-8")
}
@@ -10,6 +10,7 @@ import com.fangjia.script.commData.CommonDatautils
import com.fangjia.script.common.DataHandleUtils
import com.fangjia.script.gj.ccb.FileUtils
import com.fangjia.script.looplineinfo.InsidePolygon
import com.fangjia.script.util.CosineSimilarAlgorithm
import com.fangjia.script.util.ElasticUtils
import com.fangjia.script.util.ExcelUtils
import com.fangjia.script.util.MongoUtils
@@ -127,47 +128,47 @@ class GaoDePoiDataProcess extends BaseBatch{
}
def sysnchVillage(){
def buducitys = ["舟山市"]
// def buducitys = [ '茂名市', '荆州市', '荆门市', '莆田市','苏州市',
// '菏泽市', '萍乡市', '营口市', '葫芦岛市', '蚌埠市', '衡水市', '衡阳市', '衢州市', '襄阳市',
// '西宁市', '西安市', '许昌市', '贵港市', '贵阳市', '贺州市', '资阳市', '赣州市', '赤峰市',
// '辽源市', '辽阳市', '达州市', '运城市', '连云港市', '通化市', '通辽市', '遂宁市', '遵义市', '中山市', '临夏回族自治州', '临汾市', '临沂市', '临沧市', '临高县', '丹东市',
// '丽水市', '丽江市', '乌兰察布市', '乌海市', '乌鲁木齐市', '乐东黎族自治县', '乐山市', '九江市',
// '云浮市', '五家渠市', '五指山市', '亳州市', '仙桃市', '伊春市', '伊犁哈萨克自治州', '佛山市',
// '佳木斯市', '保亭黎族苗族自治县', '保定市', '保山市', '信阳市', '儋州市', '克孜勒苏柯尔克孜自治州',
// '克拉玛依市', '六安市', '六盘水市', '兰州市', '兴安盟', '内江市', '包头市', '北京市', '北海市',
// '十堰市', '南京市', '南充市', '南宁市', '南平市', '南昌市', '南通市', '南阳市',
// '博尔塔拉蒙古自治州', '厦门市', '双鸭山市', '台州市', '合肥市', '吉安市', '吉林市', '吐鲁番地区',
// '吕梁市', '吴忠市', '周口市', '呼伦贝尔市', '呼和浩特市', '和田地区', '咸宁市', '咸阳市',
// '哈密地区', '哈尔滨市', '唐山市', '商丘市', '商洛市', '喀什地区', '嘉兴市', '嘉峪关市', '四平市',
// '固原市', '图木舒克市', '塔城地区', '大兴安岭地区', '大同市', '大庆市', '大理白族自治州', '大连市',
// '天水市', '天津市', '天门市', '太原市', '威海市', '娄底市', '孝感市', '宁德市',
// '安庆市', '安康市', '安阳市', '安顺市', '定安县', '定西市', '宜宾市', '宜昌市', '宜春市',
// '宝鸡市', '宣城市', '宿州市', '宿迁市', '屯昌县', '山南地区', '岳阳市', '崇左市', '巴中市',
// '巴彦淖尔市', '巴音郭楞蒙古自治州', '常州市', '常德市', '平凉市', '平顶山市', '广元市', '广安市',
// '广州市', '庆阳市', '廊坊市', '延安市', '延边朝鲜族自治州', '开封市', '张家口市', '张家界市',
// '张掖市', '徐州市', '德州市', '德阳市', '忻州市', '怀化市', '恩施土家族苗族自治州', '惠州市',
// '成都市', '扬州市', '承德市', '抚州市', '抚顺市', '拉萨市', '揭阳市', '攀枝花市', '文昌市',
// '新乡市', '新余市', '无锡市', '日喀则地区', '日照市', '昆明市', '昌吉回族自治州', '昌江黎族自治县',
// '昌都地区', '昭通市', '晋中市', '晋城市', '普洱市', '景德镇市', '曲靖市', '朔州市', '朝阳市',
// '本溪市', '来宾市', '杭州市', '松原市', '林芝地区', '枣庄市', '柳州市', '株洲市', '桂林市',
// '梅州市', '梧州市', '楚雄彝族自治州', '榆林市', '武威市', '武汉市', '毕节地区', '永州市', '汉中市',
// '汕头市', '汕尾市', '江门市', '池州市', '沈阳市', '沧州市', '河池市', '河源市', '泉州市',
// '泰安市', '泰州市', '泸州市', '洛阳市', '济南市', '济宁市', '济源市', '海东地区', '海口市',
// '淄博市', '淮北市', '淮南市', '淮安市', '深圳市', '清远市', '温州市', '渭南市',
// '湘潭市', '湘西土家族苗族自治州', '湛江市', '滁州市', '滨州市', '漯河市', '漳州市', '潍坊市',
// '潜江市', '潮州市', '澄迈县', '濮阳市', '烟台市', '焦作市', '牡丹江市', '玉林市', '玉溪市',
// '珠海市', '琼中黎族苗族自治县', '琼海市', '甘南藏族自治州', '白城市', '白山市', '白沙黎族自治县',
// '白银市', '百色市', '益阳市', '盐城市', '盘锦市', '眉山市', '石嘴山市', '石家庄市', '石河子市',
// '神农架林区', '福州市', '秦皇岛市', '红河哈尼族彝族自治州', '绥化市', '邢台市', '那曲地区', '邯郸市', '邵阳市', '郑州市', '郴州市', '鄂尔多斯市', '鄂州市', '酒泉市',
// '重庆市', '金华市', '金昌市', '钦州市', '铁岭市', '铜仁地区', '铜川市', '铜陵市', '银川市',
// '锡林郭勒盟', '锦州市', '镇江市', '长春市', '长沙市', '长治市', '阜新市', '阜阳市', '防城港市',
// '阳江市', '阳泉市', '阿克苏地区', '阿勒泰地区', '阿拉善盟', '阿拉尔市', '阿里地区', '陇南市',
// '陵水黎族自治县', '随州市', '雅安市', '青岛市', '鞍山市', '韶关市', '马鞍山市', '驻马店市',
// '鸡西市', '鹤壁市', '鹤岗市', '鹰潭市', '黄冈市', '黄山市', '黄石市', '黑河市',
// '黔东南苗族侗族自治州', '黔南布依族苗族自治州', '黔西南布依族苗族自治州', '齐齐哈尔市', '龙岩市']
def buducitys = [ "湖州市","舟山市","宁波市","丽水市","杭州市","温州市","嘉兴市","台州市","绍兴市","金华市","衢州市",'茂名市',
'荆州市', '荆门市', '莆田市','苏州市','菏泽市', '萍乡市', '营口市', '葫芦岛市', '蚌埠市', '衡水市', '衡阳市',
'衢州市', '襄阳市', '西宁市', '西安市', '许昌市', '贵港市', '贵阳市', '贺州市', '资阳市', '赣州市', '赤峰市',
'辽源市', '辽阳市', '达州市', '运城市', '连云港市', '通化市', '通辽市', '遂宁市', '遵义市', '中山市', '临夏回族自治州',
'临汾市', '临沂市', '临沧市', '临高县', '丹东市','邵阳市', '郑州市', '郴州市', '鄂尔多斯市', '鄂州市', '酒泉市',
'丽水市', '丽江市', '乌兰察布市', '乌海市', '乌鲁木齐市', '乐东黎族自治县', '乐山市', '九江市',
'云浮市', '五家渠市', '五指山市', '亳州市', '仙桃市', '伊春市', '伊犁哈萨克自治州', '佛山市',
'佳木斯市', '保亭黎族苗族自治县', '保定市', '保山市', '信阳市', '儋州市', '克孜勒苏柯尔克孜自治州',
'克拉玛依市', '六安市', '六盘水市', '兰州市', '兴安盟', '内江市', '包头市', '北京市', '北海市',
'十堰市', '南京市', '南充市', '南宁市', '南平市', '南昌市', '南通市', '南阳市',
'博尔塔拉蒙古自治州', '厦门市', '双鸭山市', '台州市', '合肥市', '吉安市', '吉林市', '吐鲁番地区',
'吕梁市', '吴忠市', '周口市', '呼伦贝尔市', '呼和浩特市', '和田地区', '咸宁市', '咸阳市',
'哈密地区', '哈尔滨市', '唐山市', '商丘市', '商洛市', '喀什地区', '嘉兴市', '嘉峪关市', '四平市',
'固原市', '图木舒克市', '塔城地区', '大兴安岭地区', '大同市', '大庆市', '大理白族自治州', '大连市',
'天水市', '天津市', '天门市', '太原市', '威海市', '娄底市', '孝感市', '宁德市',
'安庆市', '安康市', '安阳市', '安顺市', '定安县', '定西市', '宜宾市', '宜昌市', '宜春市',
'宝鸡市', '宣城市', '宿州市', '宿迁市', '屯昌县', '山南地区', '岳阳市', '崇左市', '巴中市',
'巴彦淖尔市', '巴音郭楞蒙古自治州', '常州市', '常德市', '平凉市', '平顶山市', '广元市', '广安市',
'广州市', '庆阳市', '廊坊市', '延安市', '延边朝鲜族自治州', '开封市', '张家口市', '张家界市',
'张掖市', '徐州市', '德州市', '德阳市', '忻州市', '怀化市', '恩施土家族苗族自治州', '惠州市',
'成都市', '扬州市', '承德市', '抚州市', '抚顺市', '拉萨市', '揭阳市', '攀枝花市', '文昌市',
'新乡市', '新余市', '无锡市', '日喀则地区', '日照市', '昆明市', '昌吉回族自治州', '昌江黎族自治县',
'昌都地区', '昭通市', '晋中市', '晋城市', '普洱市', '景德镇市', '曲靖市', '朔州市', '朝阳市',
'本溪市', '来宾市', '杭州市', '松原市', '林芝地区', '枣庄市', '柳州市', '株洲市', '桂林市',
'梅州市', '梧州市', '楚雄彝族自治州', '榆林市', '武威市', '武汉市', '毕节地区', '永州市', '汉中市',
'汕头市', '汕尾市', '江门市', '池州市', '沈阳市', '沧州市', '河池市', '河源市', '泉州市',
'泰安市', '泰州市', '泸州市', '洛阳市', '济南市', '济宁市', '济源市', '海东地区', '海口市',
'淄博市', '淮北市', '淮南市', '淮安市', '深圳市', '清远市', '温州市', '渭南市',
'湘潭市', '湘西土家族苗族自治州', '湛江市', '滁州市', '滨州市', '漯河市', '漳州市', '潍坊市',
'潜江市', '潮州市', '澄迈县', '濮阳市', '烟台市', '焦作市', '牡丹江市', '玉林市', '玉溪市',
'珠海市', '琼中黎族苗族自治县', '琼海市', '甘南藏族自治州', '白城市', '白山市', '白沙黎族自治县',
'白银市', '百色市', '益阳市', '盐城市', '盘锦市', '眉山市', '石嘴山市', '石家庄市', '石河子市',
'神农架林区', '福州市', '秦皇岛市', '红河哈尼族彝族自治州', '绥化市', '邢台市', '那曲地区', '邯郸市',
'重庆市', '金华市', '金昌市', '钦州市', '铁岭市', '铜仁地区', '铜川市', '铜陵市', '银川市',
'锡林郭勒盟', '锦州市', '镇江市', '长春市', '长沙市', '长治市', '阜新市', '阜阳市', '防城港市',
'阳江市', '阳泉市', '阿克苏地区', '阿勒泰地区', '阿拉善盟', '阿拉尔市', '阿里地区', '陇南市',
'陵水黎族自治县', '随州市', '雅安市', '青岛市', '鞍山市', '韶关市', '马鞍山市', '驻马店市',
'鸡西市', '鹤壁市', '鹤岗市', '鹰潭市', '黄冈市', '黄山市', '黄石市', '黑河市',
'黔东南苗族侗族自治州', '黔南布依族苗族自治州', '黔西南布依族苗族自治州', '齐齐哈尔市', '龙岩市']
def runbuducitys = ["湖州市","宁波市","丽水市","杭州市","温州市","嘉兴市","台州市","绍兴市","金华市","衢州市"]
def runbuducitys = []
for(def city : buducitys){
if(runbuducitys.contains(city)){
continue
@@ -190,7 +191,8 @@ class GaoDePoiDataProcess extends BaseBatch{
final CountDownLatch latch = new CountDownLatch(pois.size())
// def townMap = findTownRange(city)
def townMap = CommonDatautils.queryTownByCity(city)
def poiKeysFilter = findEsPoiByCity(city)
def esMap = findEsPoiByCity(city)
def nameKeys = esMap.keySet()
println "Es 加载完成:"+new Date().format("yyyy-MM-dd HH:mm:ss")
for(def i=0;i<pois.size();i++){
final def p = pois[i]
@@ -198,20 +200,20 @@ class GaoDePoiDataProcess extends BaseBatch{
void run() {
try{
totalCount.addAndGet(1)
// def obj = MAPPOI_CONN.findOne(new BasicDBObject("name", p.name).append("district", p.district).append("city", p.city))
def key = p.city+"##"+p.district+"##"+p.name.replace("-","").replace("·","")
if(!poiKeysFilter.mightContain(key)){
if(!nameKeys.contains(key)){
def prov = ProvinceData.getProvince(p.city.replace("市",""))
def ret = createVillageData(prov, p, townMap)
def newKey = ret.city+"##"+ret.district+"##"+ret.name.replace("-","").replace("·","")
if(ret && !rets.containsKey(newKey)){
//keyRets << ret.city+"##"+ret.district+"##"+ret.name
//rets << ret
rets.put(newKey, ret)
if(ret){
def simlarObj = findSimlarPoi(ret, esMap)
if(!simlarObj){
def newKey = ret.city+"##"+ret.district+"##"+ret.name.replace("-","").replace("·","")
if(!rets.containsKey(newKey)){
rets.put(newKey, ret)
}
}
}
}
} catch (Exception e) {
e.printStackTrace()
} finally {
@@ -224,14 +226,53 @@ class GaoDePoiDataProcess extends BaseBatch{
return rets
}
def findSimlarPoi(ret, esMap){
def keys = esMap.keySet()
def simlarObj = null
for(def key : keys){
def esValue = esMap.get(key)
if(esValue.township && ret.township){
if(esValue.name.contains(ret.name) || ret.name.contains(esValue.name)){//||
def distance = GeoUtils.calculateDistance(ret.location.lon, ret.location.lat, esValue.location.lon, esValue.location.lat);
if(distance <100){
simlarObj = esValue
println esValue.name +" "+ret.name+" "+distance
break;
}
}
// else{
// def esKey = esValue.name.replace("-","").replace("·","").replace("(", "").replace(")", "")
// def bdKey = ret.name.replace("-","").replace("·","").replace("(", "").replace(")", "")
// double score = CosineSimilarAlgorithm.getSimilarity(esKey,bdKey);
// if(score && score>=0.95) {
// def distance = GeoUtils.calculateDistance(ret.location.lon, ret.location.lat, esValue.location.lon, esValue.location.lat);
// if(distance <100){
// simlarObj = esValue
// println esValue.name +" "+ret.name+" "+distance +" "+score
// break;
// }
// }
// }
}
}
return simlarObj
}
def findEsPoiByCity(city){
QueryBuilder queryBuilder = QueryBuilders.boolQuery().must(QueryBuilders.termQuery("city", city))
BloomFilter<CharSequence> filter = BloomFilter.create(Funnels.stringFunnel(StandardCharsets.UTF_8), 200000000, 0.000001);
// BloomFilter<CharSequence> filter = BloomFilter.create(Funnels.stringFunnel(StandardCharsets.UTF_8), 200000000, 0.000001);
def map = new HashMap()
ElasticUtils89.executeQuery("192.168.0.89", "didata_map_poi_single", queryBuilder, { String id, Map d->
filter.put(d.city +"##"+d.district+"##"+d.name.replace("-","").replace("·",""))
def o = new BasicDBObject()
o.put("city", d.city)
o.put("district", d.district)
o.put("name", d.name)
o.put("township", d.township)
o.put("location", d.location)
map.put(d.city +"##"+d.district+"##"+d.name.replace("-","").replace("·",""), o)
})
return filter
return map
}
def queryMapPoi(city){
@@ -320,7 +361,7 @@ class GaoDePoiDataProcess extends BaseBatch{
retMap.cat = map.std_tag
if(!map.std_tag){
println map.name +" std_tag: "+ map.std_tag +" 为空过滤"
// println map.name +" std_tag: "+ map.std_tag +" 为空过滤"
return null
}
@@ -19,9 +19,13 @@ public class KafkaProducerUtils implements DisposableBean {
public KafkaProducerUtils() {
Properties properties = new Properties();
properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.0.100:30092");
properties.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.0.89:19092,192.168.0.90:19092,192.168.0.91:19092");
properties.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
properties.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
properties.setProperty("session.timeout.ms", "15000");
properties.setProperty("sasl.mechanism", "PLAIN");
properties.setProperty("security.protocol", "SASL_PLAINTEXT");
properties.setProperty("sasl.jaas.config", "org.apache.kafka.common.security.plain.PlainLoginModule required username=\"admin\" password=\"Goojia123456\";");
this.producer = new KafkaProducer<String, String>(properties);
}