内部房源时间修改及百度入库修改
This commit is contained in:
+32
-6
@@ -25,9 +25,11 @@ class DevProcess {
|
||||
def MONGO100_URL = "mongodb://admin:G00MONGOADMIN@192.168.0.100:30009";
|
||||
DBCollection development_zone_CONN = MongoUtils.getCollectionByName2("fangjia", "development_zone", MONGO100_URL)
|
||||
|
||||
DBCollection DEV_MAPPING_CONN = MongoUtils.getCollectionByName2("fangjia", "dev_mapping", MONGO100_URL)
|
||||
|
||||
|
||||
DBCollection DEV_MAPPING_CONN = MongoUtils.getCollectionByName2("fangjia", "dev_mapping", MONGO100_URL)
|
||||
DBCollection DEV_MAPPING_CONN2 = MongoUtils.getCollectionByName2("fangjia", "dev_mapping_2", MONGO100_URL)
|
||||
|
||||
DBCollection DEVELOPMENT_ZONE_43_COLL = MongoUtils.getCollectionByName("fangjia_base", "development_zone", "mongo.db.fangjia.com")
|
||||
DBCollection ADMINISTRATIVE_MAPPING_COLL = MongoUtils.getCollectionByName("business", "administrative_mapping", "mongo.db.fangjia.com")
|
||||
|
||||
@@ -54,7 +56,7 @@ class DevProcess {
|
||||
// task.createDevMapping()
|
||||
// task.deleteAddr()
|
||||
// task.deleteAddr2()
|
||||
// task.synchDevTo43()
|
||||
// task.synchDevTo100()
|
||||
// task.addNewDev2()
|
||||
|
||||
// task.addAlias()
|
||||
@@ -69,7 +71,9 @@ class DevProcess {
|
||||
|
||||
// task.addKfc()
|
||||
// task.devToPark() //开发区下辖园区
|
||||
task.checkTown()
|
||||
// task.checkTown()
|
||||
|
||||
// task.repeatSave()
|
||||
|
||||
}
|
||||
|
||||
@@ -692,13 +696,13 @@ class DevProcess {
|
||||
});
|
||||
}
|
||||
|
||||
def synchDevTo43(){
|
||||
def dbcursor = development_zone_CONN.find()
|
||||
def synchDevTo100(){
|
||||
def dbcursor = DEVELOPMENT_ZONE_43_COLL.find()
|
||||
def rets = []
|
||||
for(def r : dbcursor){
|
||||
rets << r
|
||||
}
|
||||
DEVELOPMENT_ZONE_43_COLL.insert(rets)
|
||||
development_zone_CONN.insert(rets)
|
||||
}
|
||||
|
||||
|
||||
@@ -961,4 +965,26 @@ class DevProcess {
|
||||
|
||||
},0)
|
||||
}
|
||||
|
||||
def repeatSave(){
|
||||
def dbcursor = DEV_MAPPING_CONN.find(new BasicDBObject())
|
||||
def list = []
|
||||
for(def map : dbcursor){
|
||||
def columns = ["_id","province","city","district","name","type","address","dev_district", "township","park"]
|
||||
def udata = new BasicDBObject()
|
||||
map.each{k,v->
|
||||
if(columns.contains(k)){
|
||||
if(v instanceof String){
|
||||
if(k=="_id"){
|
||||
udata.put("_id", new ObjectId(v))
|
||||
}else{
|
||||
udata.put(k, v)
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
list << udata
|
||||
}
|
||||
DEV_MAPPING_CONN2.insert(list)
|
||||
}
|
||||
}
|
||||
|
||||
+2
-2
@@ -29,7 +29,7 @@ class DevUpdateTestBatch {
|
||||
|
||||
static main(args) {
|
||||
def task = new DevUpdateTestBatch()
|
||||
def path = "D:\\数据\\数据建设\\开发区\\开发区下辖园区及街道\\前瞻网开发区下辖园区入库.xlsx"//开发区-园区.xlsx
|
||||
def path = "D:\\数据\\数据建设\\开发区\\开发区-园区.xlsx"//开发区-园区.xlsx
|
||||
// task.addDev(path)
|
||||
task.addDevAddress(path)
|
||||
|
||||
@@ -157,7 +157,7 @@ class DevUpdateTestBatch {
|
||||
println d['A'] +" 不存在"
|
||||
}
|
||||
}
|
||||
},0)
|
||||
},1)
|
||||
}
|
||||
|
||||
|
||||
|
||||
+3
-3
@@ -492,9 +492,9 @@ class FjwBigdataForsaleBatch extends BaseBatch{
|
||||
|
||||
|
||||
def findHousesByMdate(def city, def region, def cat, def startDate, def endDate, def name, def alias, def estate_type2, rets1){
|
||||
def date = "20200101"//DateUtils.addMonth(endDate.toString(), -3, "yyyyMMdd")
|
||||
def startMdate = DateUtils.parseFromTightByPattern("20240519","yyyyMMdd")//DateUtils.parseFromTightByPattern(date,"yyyyMMdd")
|
||||
def endMdate = DateUtils.parseFromTightByPattern("20240718", "yyyyMMdd")//DateUtils.parseFromTightByPattern(endDate.toString(), "yyyyMMdd")
|
||||
def date = DateUtils.addMonth(endDate.toString(), -3, "yyyyMMdd")
|
||||
def startMdate = DateUtils.parseFromTightByPattern(date,"yyyyMMdd")//DateUtils.parseFromTightByPattern("20240519","yyyyMMdd")
|
||||
def endMdate = DateUtils.parseFromTightByPattern(endDate.toString(), "yyyyMMdd")//DateUtils.parseFromTightByPattern("20240718", "yyyyMMdd")
|
||||
|
||||
QueryBuilder date_range = QueryBuilders.rangeQuery("p_date").from(date.toInteger()).to(endDate).includeLower(false).includeUpper(false);
|
||||
QueryBuilder area_range = QueryBuilders.rangeQuery("area").from(20).to(500).includeLower(true).includeUpper(false);
|
||||
|
||||
+1
-1
@@ -27,7 +27,7 @@ class QiliangTest {
|
||||
// task.run()
|
||||
|
||||
def data = [
|
||||
'address': '江阴市澄杨路77号',
|
||||
'address': '景县开发区东区',
|
||||
'type': '1' //1:对公 0:对私
|
||||
]
|
||||
def s = task.getProxyResult(data);
|
||||
|
||||
+54
-46
@@ -15,6 +15,8 @@ import com.fangjia.script.util.ExcelUtils
|
||||
import com.fangjia.script.util.MongoUtils
|
||||
import com.fangjia.script.util.ProvinceData
|
||||
import com.fangjia.script.yinjihaun.amap.GaoDeApiUtils
|
||||
import com.google.common.hash.BloomFilter
|
||||
import com.google.common.hash.Funnels
|
||||
import com.mongodb.BasicDBObject
|
||||
import com.mongodb.DBCollection
|
||||
import com.rabbitmq.client.impl.AMQImpl
|
||||
@@ -29,6 +31,7 @@ import org.elasticsearch.common.xcontent.XContentType
|
||||
import org.elasticsearch.index.query.QueryBuilder
|
||||
import org.elasticsearch.index.query.QueryBuilders
|
||||
|
||||
import java.nio.charset.StandardCharsets
|
||||
import java.util.concurrent.CopyOnWriteArrayList
|
||||
import java.util.concurrent.CountDownLatch
|
||||
import java.util.concurrent.ExecutorService
|
||||
@@ -123,51 +126,54 @@ class GaoDePoiDataProcess extends BaseBatch{
|
||||
}
|
||||
|
||||
def sysnchVillage(){
|
||||
def buducitys = [ '七台河市', '上海市','万宁市', '三亚市', '三明市', '三门峡市', '上饶市', '东方市', '东莞市',
|
||||
'东营市', '中卫市', '中山市', '临夏回族自治州', '临汾市', '临沂市', '临沧市', '临高县', '丹东市',
|
||||
'丽水市', '丽江市', '乌兰察布市', '乌海市', '乌鲁木齐市', '乐东黎族自治县', '乐山市', '九江市',
|
||||
'云浮市', '五家渠市', '五指山市', '亳州市', '仙桃市', '伊春市', '伊犁哈萨克自治州', '佛山市',
|
||||
'佳木斯市', '保亭黎族苗族自治县', '保定市', '保山市', '信阳市', '儋州市', '克孜勒苏柯尔克孜自治州',
|
||||
'克拉玛依市', '六安市', '六盘水市', '兰州市', '兴安盟', '内江市', '包头市', '北京市', '北海市',
|
||||
'十堰市', '南京市', '南充市', '南宁市', '南平市', '南昌市', '南通市', '南阳市',
|
||||
'博尔塔拉蒙古自治州', '厦门市', '双鸭山市', '台州市', '合肥市', '吉安市', '吉林市', '吐鲁番地区',
|
||||
'吕梁市', '吴忠市', '周口市', '呼伦贝尔市', '呼和浩特市', '和田地区', '咸宁市', '咸阳市',
|
||||
'哈密地区', '哈尔滨市', '唐山市', '商丘市', '商洛市', '喀什地区', '嘉兴市', '嘉峪关市', '四平市',
|
||||
'固原市', '图木舒克市', '塔城地区', '大兴安岭地区', '大同市', '大庆市', '大理白族自治州', '大连市',
|
||||
'天水市', '天津市', '天门市', '太原市', '威海市', '娄底市', '孝感市', '宁德市', '宁波市',
|
||||
'安庆市', '安康市', '安阳市', '安顺市', '定安县', '定西市', '宜宾市', '宜昌市', '宜春市',
|
||||
'宝鸡市', '宣城市', '宿州市', '宿迁市', '屯昌县', '山南地区', '岳阳市', '崇左市', '巴中市',
|
||||
'巴彦淖尔市', '巴音郭楞蒙古自治州', '常州市', '常德市', '平凉市', '平顶山市', '广元市', '广安市',
|
||||
'广州市', '庆阳市', '廊坊市', '延安市', '延边朝鲜族自治州', '开封市', '张家口市', '张家界市',
|
||||
'张掖市', '徐州市', '德州市', '德阳市', '忻州市', '怀化市', '恩施土家族苗族自治州', '惠州市',
|
||||
'成都市', '扬州市', '承德市', '抚州市', '抚顺市', '拉萨市', '揭阳市', '攀枝花市', '文昌市',
|
||||
'新乡市', '新余市', '无锡市', '日喀则地区', '日照市', '昆明市', '昌吉回族自治州', '昌江黎族自治县',
|
||||
'昌都地区', '昭通市', '晋中市', '晋城市', '普洱市', '景德镇市', '曲靖市', '朔州市', '朝阳市',
|
||||
'本溪市', '来宾市', '杭州市', '松原市', '林芝地区', '枣庄市', '柳州市', '株洲市', '桂林市',
|
||||
'梅州市', '梧州市', '楚雄彝族自治州', '榆林市', '武威市', '武汉市', '毕节地区', '永州市', '汉中市',
|
||||
'汕头市', '汕尾市', '江门市', '池州市', '沈阳市', '沧州市', '河池市', '河源市', '泉州市',
|
||||
'泰安市', '泰州市', '泸州市', '洛阳市', '济南市', '济宁市', '济源市', '海东地区', '海口市',
|
||||
'淄博市', '淮北市', '淮南市', '淮安市', '深圳市', '清远市', '温州市', '渭南市', '湖州市',
|
||||
'湘潭市', '湘西土家族苗族自治州', '湛江市', '滁州市', '滨州市', '漯河市', '漳州市', '潍坊市',
|
||||
'潜江市', '潮州市', '澄迈县', '濮阳市', '烟台市', '焦作市', '牡丹江市', '玉林市', '玉溪市',
|
||||
'珠海市', '琼中黎族苗族自治县', '琼海市', '甘南藏族自治州', '白城市', '白山市', '白沙黎族自治县',
|
||||
'白银市', '百色市', '益阳市', '盐城市', '盘锦市', '眉山市', '石嘴山市', '石家庄市', '石河子市',
|
||||
'神农架林区', '福州市', '秦皇岛市', '红河哈尼族彝族自治州', '绍兴市', '绥化市', '绵阳市', '聊城市',
|
||||
'肇庆市', '自贡市', '舟山市', '芜湖市', '苏州市', '茂名市', '荆州市', '荆门市', '莆田市',
|
||||
'菏泽市', '萍乡市', '营口市', '葫芦岛市', '蚌埠市', '衡水市', '衡阳市', '衢州市', '襄阳市',
|
||||
'西宁市', '西安市', '许昌市', '贵港市', '贵阳市', '贺州市', '资阳市', '赣州市', '赤峰市',
|
||||
'辽源市', '辽阳市', '达州市', '运城市', '连云港市', '通化市', '通辽市', '遂宁市', '遵义市',
|
||||
'邢台市', '那曲地区', '邯郸市', '邵阳市', '郑州市', '郴州市', '鄂尔多斯市', '鄂州市', '酒泉市',
|
||||
'重庆市', '金华市', '金昌市', '钦州市', '铁岭市', '铜仁地区', '铜川市', '铜陵市', '银川市',
|
||||
'锡林郭勒盟', '锦州市', '镇江市', '长春市', '长沙市', '长治市', '阜新市', '阜阳市', '防城港市',
|
||||
'阳江市', '阳泉市', '阿克苏地区', '阿勒泰地区', '阿拉善盟', '阿拉尔市', '阿里地区', '陇南市',
|
||||
'陵水黎族自治县', '随州市', '雅安市', '青岛市', '鞍山市', '韶关市', '马鞍山市', '驻马店市',
|
||||
'鸡西市', '鹤壁市', '鹤岗市', '鹰潭市', '黄冈市', '黄山市', '黄石市', '黑河市',
|
||||
'黔东南苗族侗族自治州', '黔南布依族苗族自治州', '黔西南布依族苗族自治州', '齐齐哈尔市', '龙岩市']
|
||||
// def buducitys = [ '七台河市', '上海市','万宁市', '三亚市', '三明市', '三门峡市', '上饶市', '东方市', '东莞市',
|
||||
// '东营市', '中卫市', '中山市', '临夏回族自治州', '临汾市', '临沂市', '临沧市', '临高县', '丹东市',
|
||||
// '丽水市', '丽江市', '乌兰察布市', '乌海市', '乌鲁木齐市', '乐东黎族自治县', '乐山市', '九江市',
|
||||
// '云浮市', '五家渠市', '五指山市', '亳州市', '仙桃市', '伊春市', '伊犁哈萨克自治州', '佛山市',
|
||||
// '佳木斯市', '保亭黎族苗族自治县', '保定市', '保山市', '信阳市', '儋州市', '克孜勒苏柯尔克孜自治州',
|
||||
// '克拉玛依市', '六安市', '六盘水市', '兰州市', '兴安盟', '内江市', '包头市', '北京市', '北海市',
|
||||
// '十堰市', '南京市', '南充市', '南宁市', '南平市', '南昌市', '南通市', '南阳市',
|
||||
// '博尔塔拉蒙古自治州', '厦门市', '双鸭山市', '台州市', '合肥市', '吉安市', '吉林市', '吐鲁番地区',
|
||||
// '吕梁市', '吴忠市', '周口市', '呼伦贝尔市', '呼和浩特市', '和田地区', '咸宁市', '咸阳市',
|
||||
// '哈密地区', '哈尔滨市', '唐山市', '商丘市', '商洛市', '喀什地区', '嘉兴市', '嘉峪关市', '四平市',
|
||||
// '固原市', '图木舒克市', '塔城地区', '大兴安岭地区', '大同市', '大庆市', '大理白族自治州', '大连市',
|
||||
// '天水市', '天津市', '天门市', '太原市', '威海市', '娄底市', '孝感市', '宁德市', '宁波市',
|
||||
// '安庆市', '安康市', '安阳市', '安顺市', '定安县', '定西市', '宜宾市', '宜昌市', '宜春市',
|
||||
// '宝鸡市', '宣城市', '宿州市', '宿迁市', '屯昌县', '山南地区', '岳阳市', '崇左市', '巴中市',
|
||||
// '巴彦淖尔市', '巴音郭楞蒙古自治州', '常州市', '常德市', '平凉市', '平顶山市', '广元市', '广安市',
|
||||
// '广州市', '庆阳市', '廊坊市', '延安市', '延边朝鲜族自治州', '开封市', '张家口市', '张家界市',
|
||||
// '张掖市', '徐州市', '德州市', '德阳市', '忻州市', '怀化市', '恩施土家族苗族自治州', '惠州市',
|
||||
// '成都市', '扬州市', '承德市', '抚州市', '抚顺市', '拉萨市', '揭阳市', '攀枝花市', '文昌市',
|
||||
// '新乡市', '新余市', '无锡市', '日喀则地区', '日照市', '昆明市', '昌吉回族自治州', '昌江黎族自治县',
|
||||
// '昌都地区', '昭通市', '晋中市', '晋城市', '普洱市', '景德镇市', '曲靖市', '朔州市', '朝阳市',
|
||||
// '本溪市', '来宾市', '杭州市', '松原市', '林芝地区', '枣庄市', '柳州市', '株洲市', '桂林市',
|
||||
// '梅州市', '梧州市', '楚雄彝族自治州', '榆林市', '武威市', '武汉市', '毕节地区', '永州市', '汉中市',
|
||||
// '汕头市', '汕尾市', '江门市', '池州市', '沈阳市', '沧州市', '河池市', '河源市', '泉州市',
|
||||
// '泰安市', '泰州市', '泸州市', '洛阳市', '济南市', '济宁市', '济源市', '海东地区', '海口市',
|
||||
// '淄博市', '淮北市', '淮南市', '淮安市', '深圳市', '清远市', '温州市', '渭南市', '湖州市',
|
||||
// '湘潭市', '湘西土家族苗族自治州', '湛江市', '滁州市', '滨州市', '漯河市', '漳州市', '潍坊市',
|
||||
// '潜江市', '潮州市', '澄迈县', '濮阳市', '烟台市', '焦作市', '牡丹江市', '玉林市', '玉溪市',
|
||||
// '珠海市', '琼中黎族苗族自治县', '琼海市', '甘南藏族自治州', '白城市', '白山市', '白沙黎族自治县',
|
||||
// '白银市', '百色市', '益阳市', '盐城市', '盘锦市', '眉山市', '石嘴山市', '石家庄市', '石河子市',
|
||||
// '神农架林区', '福州市', '秦皇岛市', '红河哈尼族彝族自治州', '绍兴市', '绥化市', '绵阳市', '聊城市',
|
||||
// '肇庆市', '自贡市', '舟山市', '芜湖市', '苏州市', '茂名市', '荆州市', '荆门市', '莆田市',
|
||||
// '菏泽市', '萍乡市', '营口市', '葫芦岛市', '蚌埠市', '衡水市', '衡阳市', '衢州市', '襄阳市',
|
||||
// '西宁市', '西安市', '许昌市', '贵港市', '贵阳市', '贺州市', '资阳市', '赣州市', '赤峰市',
|
||||
// '辽源市', '辽阳市', '达州市', '运城市', '连云港市', '通化市', '通辽市', '遂宁市', '遵义市',
|
||||
// '邢台市', '那曲地区', '邯郸市', '邵阳市', '郑州市', '郴州市', '鄂尔多斯市', '鄂州市', '酒泉市',
|
||||
// '重庆市', '金华市', '金昌市', '钦州市', '铁岭市', '铜仁地区', '铜川市', '铜陵市', '银川市',
|
||||
// '锡林郭勒盟', '锦州市', '镇江市', '长春市', '长沙市', '长治市', '阜新市', '阜阳市', '防城港市',
|
||||
// '阳江市', '阳泉市', '阿克苏地区', '阿勒泰地区', '阿拉善盟', '阿拉尔市', '阿里地区', '陇南市',
|
||||
// '陵水黎族自治县', '随州市', '雅安市', '青岛市', '鞍山市', '韶关市', '马鞍山市', '驻马店市',
|
||||
// '鸡西市', '鹤壁市', '鹤岗市', '鹰潭市', '黄冈市', '黄山市', '黄石市', '黑河市',
|
||||
// '黔东南苗族侗族自治州', '黔南布依族苗族自治州', '黔西南布依族苗族自治州', '齐齐哈尔市', '龙岩市']
|
||||
|
||||
def buducitys = ["丽水市","杭州市","宁波市","温州市","嘉兴市","台州市","湖州市","绍兴市","金华市","舟山市","衢州市"]
|
||||
for(def city : buducitys){
|
||||
def pois = findAllVillagePoiMap(city)
|
||||
def rows = createVillageData(city, pois)
|
||||
|
||||
|
||||
save(city, rows)
|
||||
// saveToMG(city, rows)
|
||||
println city +" "+pois.size()+" add:"+rows.size()
|
||||
@@ -182,7 +188,7 @@ class GaoDePoiDataProcess extends BaseBatch{
|
||||
final CountDownLatch latch = new CountDownLatch(pois.size())
|
||||
// def townMap = findTownRange(city)
|
||||
def townMap = CommonDatautils.queryTownByCity(city)
|
||||
def poiKeys = findEsPoiByCity(city)
|
||||
def poiKeysFilter = findEsPoiByCity(city)
|
||||
|
||||
for(def i=0;i<pois.size();i++){
|
||||
def p = pois[i]
|
||||
@@ -192,7 +198,7 @@ class GaoDePoiDataProcess extends BaseBatch{
|
||||
totalCount.addAndGet(1)
|
||||
// def obj = MAPPOI_CONN.findOne(new BasicDBObject("name", p.name).append("district", p.district).append("city", p.city))
|
||||
def key = p.city+"##"+p.district+"##"+p.name
|
||||
if(!poiKeys.contains(key)){
|
||||
if(!poiKeysFilter.mightContain(key)){
|
||||
def prov = ProvinceData.getProvince(p.city.replace("市",""))
|
||||
|
||||
def ret = createVillageData(prov, p, townMap)
|
||||
@@ -222,11 +228,13 @@ class GaoDePoiDataProcess extends BaseBatch{
|
||||
//
|
||||
// })
|
||||
QueryBuilder queryBuilder = QueryBuilders.boolQuery().must(QueryBuilders.termQuery("city", city))
|
||||
def rets = new HashSet()
|
||||
// def rets = new HashSet()
|
||||
BloomFilter<CharSequence> filter = BloomFilter.create(Funnels.stringFunnel(StandardCharsets.UTF_8), 200000000, 0.000001);
|
||||
ElasticUtils89.executeQuery("192.168.0.89", "didata_map_poi_single", queryBuilder, { String id, Map d->
|
||||
rets << d.city +"##"+d.district+"##"+d.name
|
||||
// rets << d.city +"##"+d.district+"##"+d.name
|
||||
filter.put(d.city +"##"+d.district+"##"+d.name)
|
||||
})
|
||||
return rets
|
||||
return filter
|
||||
}
|
||||
|
||||
def queryMapPoi(city){
|
||||
|
||||
Reference in New Issue
Block a user